[논문 리뷰] GAMR: A Guided Attention Model for (visual) Reasoning

Mohit Vaishnav, T. Serre|arXiv (Cornell University)|2022. 06. 10.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

GAMR는 작업에 적합한 정보를 메모리 백에 라우팅하기 위해 LSTM 제어기를 사용하여 시각적 장면에서 동적으로 집중을 이동시키는 지도된 주의 메커니즘을 제안한다. 이는 시각적 추론 작업에 대한 강건하고 샘플 효율적인 학습을 가능하게 하며, SVRT 및 ART 벤치마크에서 최고 성능을 기록하고, 학습된 연산을 재조합하여 강력한 제로샷 일반화 성능을 보여준다.

ABSTRACT

Humans continue to outperform modern AI systems in their ability to flexibly parse and understand complex visual scenes. Here, we present a novel module for visual reasoning, the Guided Attention Model for (visual) Reasoning (GAMR), which instantiates an active vision theory -- positing that the brain solves complex visual reasoning problems dynamically -- via sequences of attention shifts to select and route task-relevant visual information into memory. Experiments on an array of visual reasoning tasks and datasets demonstrate GAMR's ability to learn visual routines in a robust and sample-efficient manner. In addition, GAMR is shown to be capable of zero-shot generalization on completely novel reasoning tasks. Overall, our work provides computational support for cognitive theories that postulate the need for a critical interplay between attention and memory to dynamically maintain and manipulate task-relevant visual information to solve complex visual reasoning tasks.

연구 동기 및 목표

• 작업에 적합한 시각적 요소로 동적으로 주의를 이동시키는 활동적 시각을 모방하는 신경망 아키텍처를 개발하기 위해.
• 작업에 따라 주의를 통합함으로써 시각적 추론의 샘플 효율성을 향상시키기 위해.
• 이전에 학습한 기본 연산을 재사용하여 재훈련 없이도 새로운 추론 작업으로 일반화할 수 있도록 하기 위해.
• 주의와 기억이 시각적 추론에서 상호작용하는 데 있어 인지 이론을 지원하는 계산적 근거를 제공하기 위해.
• SVRT 및 ART와 같은 표준 시각적 추론 벤치마크에서 기존 최고 성능 모델을 능가하기 위해.

제안 방법

• 모델은 시각적 표현을 추출하기 위해 인스턴스 정규화를 적용한 다섯 개의 컨볼루션 블록을 갖는 시각 인코더를 사용한다.
• LSTM 기반 제어기가 각 타임스텝에서 내부 쿼리를 생성하여 현재 집중 상태에 기반한 주의 이동을 유도한다.
• 지침된 주의 모듈은 제어기가 생성한 쿼리에 기반하여 관련 시각적 특징을 선택하고 게이팅하여 메모리 백에 저장한다.
• 관계적 추론 모듈은 저장된 메모리 표현을 처리하여 관계를 추론하고 추론 작업을 해결한다.
• 전체 아키텍처는 미분 가능 주의 라우팅 메커니즘을 통해 엔드 투 엔드로 훈련 가능하다.
• 해석 가능성 방법론을 사용하여 주의 패턴을 분석하고 조합적 추론 전략을 검증한다.

실험 결과

연구 질문

• RQ1 신경망이 시각적 추론 성능을 향상시키기 위해 작업에 따라 동적으로 주의를 이동시키는 것을 학습할 수 있는가?
• RQ2 내부 제어기와 메모리 라우팅을 통합함으로써 시각적 추론 작업의 샘플 효율성이 향상되는가?
• RQ3 재훈련 없이도 새로운 추론 작업으로 일반화할 수 있는가? 즉, 제로샷 일반화가 가능한가?
• RQ4 복잡한 관계적 작업에서 모델의 주의 행동은 인간과 유사한 시각적 루틴과 어떻게 비교되는가?
• RQ5 기준 모델 대비 분포 이동 및 노이즈에 대해 아키텍처가 얼마나 강건한가?

주요 결과

• GAMR는 합성 시각적 추론 테스트(SVRT) 및 추상적 추론 작업(ART) 벤치마크에서 모두 최고 성능을 기록한다.
• 모델은 동일한 추상 규칙을 공유하는 작업 간에 재훈련 없이 지식을 전이함으로써 강력한 제로샷 일반화 성능을 보인다.
• GAMR는 노이즈와 분포 이동(예: 흔들리는 형태) 조건에서도 높은 정확도를 유지하지만, ESBN과 같은 기준 모델은 상당히 성능 저하를 보인다.
• 해석 가능성 분석을 통해 모델은 작업에 따라 관련 시각적 요소에 주의를 기울이는 것을 학습함을 확인할 수 있다.
• GAMR는 매우 적은 데이터로도 높은 성능을 달성하여, 500개의 훈련 샘플로도 복잡한 관계 규칙을 데이터 효율적으로 학습한다.
• ESBN과 같은 객체 중심 모델과 달리, GAMR는 형태가 개별 프레임으로 분리되어 있어도 공간적 관계 규칙을 성공적으로 학습한다.