[논문 리뷰] Compositional Attention Networks for Machine Reasoning

Drew A. Hudson, Christopher D. Manning|arXiv (Cornell University)|2018. 03. 08.

Multimodal Machine Learning Applications참고 문헌 24인용 수 132

한 줄 요약

MAC 네트워크를 도입하는 완전 미분 가능 아키텍처로, 시각적 질문 응답을 위한 명시적이고 다단계 추론을 수행하며 CLEVR에서 최첨단 성능과 높은 데이터 효율성을 달성한다.

ABSTRACT

We present the MAC network, a novel fully differentiable neural network architecture, designed to facilitate explicit and expressive reasoning. MAC moves away from monolithic black-box neural architectures towards a design that encourages both transparency and versatility. The model approaches problems by decomposing them into a series of attention-based reasoning steps, each performed by a novel recurrent Memory, Attention, and Composition (MAC) cell that maintains a separation between control and memory. By stringing the cells together and imposing structural constraints that regulate their interaction, MAC effectively learns to perform iterative reasoning processes that are directly inferred from the data in an end-to-end approach. We demonstrate the model's strength, robustness and interpretability on the challenging CLEVR dataset for visual reasoning, achieving a new state-of-the-art 98.9% accuracy, halving the error rate of the previous best model. More importantly, we show that the model is computationally-efficient and data-efficient, in particular requiring 5x less data than existing models to achieve strong results.

연구 동기 및 목표

• 명시적이고 구조화된 추론을 지원하는 신경망 아키텍처를 제시한다(블랙박스 같은 엔드-투-엔드 추론이 아닌).
• 제어와 기억을 분리하여 반복적 추론 단계를 수행하는 MAC 셀을 개발한다.
• 높은 데이터 효율성과 해석 가능성으로 CLEVR에서 강력한 성능을 입증한다.

제안 방법

• 세 가지 유닛(제어, 읽기, 쓰기)을 가진 MAC 셀을 제안하고, 이 셀은 이중 상태(제어 및 기억)에서 작동한다.
• 각 추론 단계의 지침으로 질문 단어에 대한 주의(attention)를 사용하고, 위치 인식 per-step 질문 표현 q_i를 가진다.
• 현재의 제어와 기억에 의해 안내되는 읽기 유닛에서 이미지 영역에 대한 2단계 주의 메커니즘을 사용한다.
• 과거 기억에 대한 자기 주의와 추론 길이를 조정하는 메모리 게이트를 포함하여, 쓰기 유닛을 통해 기억에 검색된 정보를 통합한다.
• 입력은 별도의 입력 유닛으로 처리되며: 질문에 대한 biLSTM과 CNN 기반 이미지 특징으로 지식 베이스 K와 질문 표현 q를 형성한다.
• 출력 유닛은 최종 기억 상태 m_p와 질문에 대해 분류기를 사용하여 정답을 예측한다.

실험 결과

연구 질문

• RQ1 외부 프로그램 감독 없이도 완전히 미분 가능 아키텍처가 명시적이고 다단계의 추론을 학습할 수 있는가?
• RQ2 제어와 기억을 주의(attention) 기반 추론 단계로 분리하면 시각적 질문 응답의 해석 가능성, 데이터 효율성 및 일반화를 향상시키는가?
• RQ3 MAC 아키텍처는 VQA 설정에서 계산 및 누적(counting 및 집계) 작업에 어떻게 성능을 보이는가?
• RQ4 MAC는 언어적 변이에도 강인하며 제한된 데이터에서 빠르게 학습할 수 있는가?

주요 결과

• CLEVR에서 98.9%의 최첨단 정확도를 달성(이전 모델 대비 상당한 개선).
• 개수 계산 및 숫자 비교 작업에서 강력한 성능을 보임.
• 학습 속도가 빠르고 데이터 효율성이 높아, 높은 정확도에 도달하기 위해 필요한 데이터가 현저히 적음.
• 미세 조정 후 CLEVR-Humans 데이터셋을 포함한 일반화 및 강인성 향상을 보여줌.
• 질문 주의(attention), 제어와 기억의 분리, 명시적 다단계 추론의 중요성을 확인하는 소거 연구.
• 추론 단계와 전이 관계를 보여주는 해석 가능한 주의 맵을 제공함.