[논문 리뷰] Object Based Attention Through Internal Gating

Jordan Lei, Ari S. Benjamin외 1명|arXiv (Cornell University)|2021. 06. 08.

Visual Attention and Saliency Detection참고 문헌 67인용 수 6

한 줄 요약

이 논문은 계층적 신경망에서 반복적이고 임무 기반의 주의를 가능하게 하기 위해 상향식, 하향식 및 횡방향 피드백 연결을 내부 게이팅과 통합한 객체 기반 주의를 위한 딥러닝 모델을 제안한다. 모델은 주의 불변 조정, 환기 억제, 더 깊은 층에서의 주의 조절 증가와 같은 핵심 신경생물학적 현상을 재현하며, 생물학적으로 유사한 아키텍처와 훈련 방식에서 학습된 반복적 주의가 어떻게 유도될 수 있는지를 보여준다.

ABSTRACT

Object-based attention is a key component of the visual system, relevant for perception, learning, and memory. Neurons tuned to features of attended objects tend to be more active than those associated with non-attended objects. There is a rich set of models of this phenomenon in computational neuroscience. However, there is currently a divide between models that successfully match physiological data but can only deal with extremely simple problems and models of attention used in computer vision. For example, attention in the brain is known to depend on top-down processing, whereas self-attention in deep learning does not. Here, we propose an artificial neural network model of object-based attention that captures the way in which attention is both top-down and recurrent. Our attention model works well both on simple test stimuli, such as those using images of handwritten digits, and on more complex stimuli, such as natural images drawn from the COCO dataset. We find that our model replicates a range of findings from neuroscience, including attention-invariant tuning, inhibition of return, and attention-mediated scaling of activity. Understanding object based attention is both computationally interesting and a key problem for computational neuroscience.

연구 동기 및 목표

• 뇌에서 관찰된 상향식 및 반복적 동역학을 반영한 생물학적으로 타당한 객체 기반 주의의 딥러닝 모델을 개발하기.
• 단순 자극에 국한된 신경과학 주의 모델과 딥러닝 주의 메커니즘 간의 격차를 메우기 — 후자의 경우 상향식 제어가 부족함.
• 통합적이고 학습 가능한 아키텍처를 통해 복잡한 시각적 장면에서 동시에 객체 인식과 주의 할당을 가능하게 하기.
• 주의 불변 조정, 환기 억제, 계층적 조절과 같은 핵심 신경생물학적 주의 현상을 재현하기.
• 내부 게이팅과 반복 피드백이 깊은 네트워크에서 신경 활동의 주의 매개 스케일링을 어떻게 지원할 수 있는지 탐색하기.

제안 방법

• 모델는 고차원에서 저차원으로의 피드포워드 컨볼루션 아키텍처에 피드백 및 횡방향 연결을 추가하여 고차원에서 저차원으로의 반복적 정보 흐름을 가능하게 한다.
• 내부 게이팅은 상향식 신호에 의해 조절되는 학습 가능한 주의 조절 게이팅을 통해 이전 층의 활동을 선택적으로 증폭하거나 억제함으로써 구현된다.
• 모델은 객체 인식 및 주의 작업에 대해 시간을 거슬러 내려가는 역전파(BPTT)를 사용하여 훈련되며, 참조 객체 세그멘테이션과 레이블을 사용한다.
• 상향식 주의 신호는 고차원 표현에 의해 생성되며, 곱셈적 게이팅을 통해 저차원 활동을 조절함으로써 주의를 기울인 객체의 선택적 증폭을 가능하게 한다.
• 환기 억제는 최근에 주의를 기울인 영역을 억제하는 동적 게이팅 메커니즘을 통해 구현되며, 다수의 객체에 대한 순차적 스캔을 촉진한다.
• 모델는 종단 간 훈련을 통해 계층적 특징 표현을 학습하며, 주의는 반복적이고 게이팅된 아키텍처의 부산물로 나타난다.

실험 결과

연구 질문

• RQ1 반복 피드백과 내부 게이팅을 갖춘 딥 네트워크가 주의 불변 조정과 같은 신경생물학적으로 관찰된 주의 현상을 재현할 수 있는가?
• RQ2 피드백 연결을 통한 상향식 조절이 계층적 아키텍처에서 주의의 이득과 신경 반응 스케일링에 어떤 영향을 미치는가?
• RQ3 스캔 순서를 명시적으로 프로그래밍하지 않더라도 모델은 순차적 시각 주의의 상징인 환기 억제를 나타낼 수 있는가?
• RQ4 프라임레이트 시각 피각에서 관찰된 바와 같이, 네트워크의 더 깊은 층에서 주의 조절이 증가하는가?
• RQ5 내부 게이팅 메커니즘이 뉴런의 기본 조정 특성을 유지하면서 선택적 주의를 얼마나 잘 지원할 수 있는가?

주요 결과

• 모델는 주의가 반응 크기를 조절하지만 기저의 조정 곡선 형태를 변화시키지 않는 주의 불변 조정을 성공적으로 재현한다.
• 모델 내 뉴런은 더 깊은 층에서 주의 조절이 증가함을 보이며, 영장류 시각 경로에서의 신경생리학적 발견과 일치한다.
• 동적 억제를 통한 최근에 주의를 기울인 영역 억제를 통해 모델은 복잡한 시각 장면에서 다수의 객체를 순차적으로 스캔할 수 있다.
• 내부 게이팅은 곱셈적 신경 활동 스케일링을 가능하게 하며, 주의를 기울이지 않은 영역은 억제되고 주의를 기울인 영역은 증폭되어皮질 이득 조절을 모방한다.
• 모델는 COCO 데이터셋의 자연 이미지를 포함한 복잡한 장면에서 명시적인 주의 감독 없이도 다수의 객체를 주의를 기울이며 분류하는 것을 학습한다.
• 반복 피드백, 내부 게이팅, 계층적 특징 학습의 조합으로부터 유도된 주의 동역학이 나타나며, 이는 주의가 수동적으로 설정된 것이 아니라 학습을 통해 유도될 수 있음을 시사한다.