[논문 리뷰] Attention over learned object embeddings enables complex visual reasoning

Xin Ding, Felix Hill외 3명|arXiv (Cornell University)|2020. 12. 15.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 복잡한 시각적 추론 작업에서 최고 성능을 달성하기 위해 학습된 물체 임베딩에 대한 자기주의(self-attention)와 자기지도 동역학 학습(self-supervised dynamics learning)을 조합한 신경망 모델 Aloe를 소개한다. 이 모델은 CLEVRER, CATER, ACRE 세 가지 벤치마크 도메인에서 모듈형 신경기호 시스템과 이전의 신경망보다 뛰어난 성능을 보이며, 작업별로 수정이 필요 없는 종단 간 학습과 부드러운 인도크티브 편향(soft inductive biases)이 특수화된 아키텍처를 능가하거나 이를 능가할 수 있음을 입증한다.

ABSTRACT

Neural networks have achieved success in a wide array of perceptual tasks but often fail at tasks involving both perception and higher-level reasoning. On these more challenging tasks, bespoke approaches (such as modular symbolic components, independent dynamics models or semantic parsers) targeted towards that specific type of task have typically performed better. The downside to these targeted approaches, however, is that they can be more brittle than general-purpose neural networks, requiring significant modification or even redesign according to the particular task at hand. Here, we propose a more general neural-network-based approach to dynamic visual reasoning problems that obtains state-of-the-art performance on three different domains, in each case outperforming bespoke modular approaches tailored specifically to the task. Our method relies on learned object-centric representations, self-attention and self-supervised dynamics learning, and all three elements together are required for strong performance to emerge. The success of this combination suggests that there may be no need to trade off flexibility for performance on problems involving spatio-temporal or causal-style reasoning. With the right soft biases and learning objectives in a neural network we may be able to attain the best of both worlds.

연구 동기 및 목표

• 시각적 장면에서 시공간적 및 인과적 역학을 추론하는 데 있어 순수 신경망의 한계를 해결하기 위해.
• 새로운 작업에 대해 재설계가 필요한 모듈형, 작업별 특화된 신경기호 시스템의 취약성을 극복하기 위해.
• 픽셀 입력으로부터 설명적, 예측적, 반사적 추론을 지원하는 일반 목적의 종단 간 신경망 접근법을 개발하기 위해.
• 학습된 물체 중심 표현에 대한 자기주의와 자기지도 학습이 기호 성분 없이도 강력한 추론을 가능하게 할 수 있는지 조사하기 위해.
• 통합 아키텍처가 다양한 추론 도메인에서 작업별 특화 모델을 능가할 수 있는지 보여주기 위해.

제안 방법

• 모델은 비디오 프레임의 학습된 물체 중심 표현을 사용하여 물리적 물체에 해당하는 이산적 요소를 추출한다.
• 시간에 걸쳐 이러한 물체 임베딩 간에 다중 헤드 자기주의를 적용하여 동적 상호작용을 통합하고 추론한다.
• 자기지도 보조 손실은 물체 상태를 마스킹하고 예측함으로써 의미 있는 역학과 표현을 발견하도록 유도한다.
• 작업별 모듈이나 수작업으로 정의된 기호 논리 없이 픽셀 입력에서 종단 간으로 학습된다.
• 물체 임베딩는 감독된 물체 검출에 의존하지 않는 비지도 인스턴스 세그멘테이션 헤드를 통해 유도된다.
• 추론 정확도와 물체 상태의 마스킹 복원을 동시에 최적화함으로써 내부 역학 모델링의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 신경망 아키텍처가 복잡한 시각적 추론 작업에서 작업별 특화된 모듈형 시스템을 능가할 수 있는가?
• RQ2 학습된 물체 임베딩에 대한 자기주의가 시공간적 및 인과적 추론 작업에서 효과적인 추론을 가능하게 하는가?
• RQ3 물체 역학의 자기지도 학습이 레이블이 적은 데이터로 추론 벤치마크 성능을 향상시킬 수 있는가?
• RQ4 물체 중심 표현, 자기주의, 자기지도 학습의 조합이 높은 성능을 내기 위해 필수적인가?
• RQ5 순수 신경 기반 접근이 이전에 신경기호 모델에 의해 지배되어 온 반사적 및 인과적 추론 작업에서 최고 성능을 달성할 수 있는가?

주요 결과

• CLEVRER에서 Aloe는 반사적 질문에 대해 75%의 정확도를 기록했으며, 이는 이전 최고 성능 기준 46%보다 뚜렷이 뛰어나다.
• ACRE에서 Aloe는 '뒤로 막히는' 추론에 대해 94.48%의 정확도, '화면 끄기' 추론에 대해 98.97%의 정확도를 기록했으며, 최고의 신경기호 모델 대비 각각 16.06%와 0.00%에 그친다.
• CLEVRER에서 Aloe는 이전 최고 성능 모델과 동일한 성능을 40% 적은 학습 데이터로 달성하여 높은 데이터 효율성을 입증한다.
• 모델은 아키텍처 수정 없이도 CLEVRER, CATER, ACRE 전 도메인에서 최고 성능을 기록했으며, 작업별 구성 요소 없이도 성능을 냈다.
• 절단 실험 결과, 물체 중심 표현, 자기주의, 자기지도 학습의 세 가지 구성 요소가 강력한 성능을 내기 위해 필수적임을 확인했다.
• Aloe는 이전의 신경망과 특수화된 신경기호 모델을 모두 능가했으며, 부드러운 인도크티브 편향이 기호적 추론의 효과성과 견줄 수 있음을 보여주었다.