[논문 리뷰] Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures.

Xin Ding, Felix Hill외 2명|arXiv (Cornell University)|2020. 12. 15.

Topic Modeling인용 수 22

한 줄 요약

이 논문은 CLEVRER와 CATER, 두 가지 시공간 추론 벤치마크에서 이전의 신경기호 모델들을 능가하는 자기주의(self-attention)와 학습된 소프트 물체 중심 표현을 갖춘 완전히 학습된 신경망을 제안한다. BERT 스타일의 준지도 학습 손실과 강력한 인덕티브 비아이어스를 활용함으로써, 레이블이 부여된 데이터의 60퍼센트 미만을 사용하여 최신 기술 수준의 성능을 달성하였으며, 신경망이 인과적이고 동적인 물리적 사건에 대해 효과적으로 추론할 수 없다는 주장을 도전한다.

ABSTRACT

Neural networks have achieved success in a wide array of perceptual tasks, but it is often stated that they are incapable of solving tasks that require higher-level reasoning. Two new task domains, CLEVRER and CATER, have recently been developed to focus on reasoning, as opposed to perception, in the context of spatio-temporal interactions between objects. Initial experiments on these domains found that neuro-symbolic approaches, which couple a logic engine and language parser with a neural perceptual front-end, substantially outperform fully-learned distributed networks, a finding that was taken to support the above thesis. Here, we show on the contrary that a fully-learned neural network with the right inductive biases can perform substantially better than all previous neural-symbolic models on both of these tasks, particularly on questions that most emphasize reasoning over perception. Our model makes critical use of both self-attention and learned soft object-centric representations, as well as BERT-style semi-supervised predictive losses. These flexible biases allow our model to surpass the previous neuro-symbolic state-of-the-art using less than 60% of available labelled data. Together, these results refute the neuro-symbolic thesis laid out by previous work involving these datasets, and they provide evidence that neural networks can indeed learn to reason effectively about the causal, dynamic structure of physical events.

연구 동기 및 목표

• 신경망이 인과적이고 동적인 물리적 환경에서 고차원 추론을 수행할 수 없다는 일반적인 주장을 도전하기 위해.
• 적절한 인덕티브 비아이어스를 갖춘 완전히 학습된 신경망이 추론 중심 작업에서 신경기호 모델을 능가할 수 있는지 조사하기 위해.
• 자기주의와 학습된 물체 중심 표현이 신경망이 시공간 상호작용을 추론하는 데 얼마나 효과적인지 평가하기 위해.
• BERT 스타일의 준지도 학습 예측 손실이 대량의 레이블이 필요한 데이터에 대한 의존도를 줄이는 데 얼마나 효과적인지 평가하기 위해.
• 기호 성분 없이도 신경망이 인과적 물리적 사건의 구조를 암묵적으로 학습할 수 있는지 보여주기 위해.

제안 방법

• 모델은 프레임 간의 관련 시공간 특징에 대해 동적으로 주의를 기울이는 자기주의 메커니즘을 사용하여 장거리 의존성과 맥락 기반 추론을 가능하게 한다.
• 경계가 없는 소프트 분포형 물체 중심 표현을 학습함으로써, 딱딱한 세분화 없이도 물체의 유연한 그룹화와 추적을 가능하게 하여, 새로운 물체 구성에 대한 일반화 능력을 향상시킨다.
• 아키텍처는 질문-답변 쌍에 적용된 BERT 스타일의 마스크된 언어 모델링 및 다음 문장 예측 목표를 통합하여, 쌍이 맞지 않은 텍스트에 대한 준지도 학습 전훈(pretraining)을 가능하게 한다.
• 모델은 레이블이 부여된 데이터에 대해 교차 엔트로피 손실을 통해 엔드 투 엔드로 훈련되며, 통합 가능한 미분 가능한 프레임워크 내에서 감각적 신호와 추론 신호를 모두 활용한다.
• 기호 성분이 아닌, 특히 물체 중심 주의와 자기주의의 아키텍처 선택을 통해 인덕티브 비아이어스를 내재한다.
• 예측 전훈을 통해 레이블이 많은 데이터에 대한 의존도를 줄임으로써, 이전의 신경기호 모델들에 비해 샘플 효율성이 뛰어나다.

실험 결과

연구 질문

• RQ1 적절한 인덕티브 비아이어스를 갖춘 완전히 학습된 신경망이 추론 중심의 시공간 작업에서 신경기호 모델을 능가할 수 있는가?
• RQ2 자기주의와 학습된 물체 중심 표현은 얼마나 효과적으로 신경망이 물리적 상호작용의 인과적 동역학을 추론하도록 도와주는가?
• RQ3 BERT 스타일의 준지도 학습 손실은 레이블이 적은 데이터에서 추론 성능 향상에 얼마나 효과적인가?
• RQ4 명시적인 기호 성분의 부재가 추론 성능을 저해하는가, 아니면 아키텍처 설계를 통해 신경망이 암묵적으로 추론을 학습할 수 있는가?
• RQ5 순수 신경 기반 접근 방식이 CLEVRER와 CATER에서 신경기호 모델을 능가할 수 있는가, 특히 감각보다 추론에 초점을 맞춘 질문들에 대해선 어떻게 되는가?

주요 결과

• 제안된 모델은 CLEVRER와 CATER 양쪽 모두에서 최신 기술 수준의 성능을 달성하여 이전의 모든 신경기호 모델을 능가한다.
• 사용 가능한 레이블이 부족한 데이터의 60퍼센트 미만으로도 이전의 신경기호 SOTA를 초월하며, 높은 샘플 효율성을 보여준다.
• 특히 감각보다 추론을 강조하는 질문들에 대해 뛰어난 성능을 보이며, 인과적이고 동적인 구조를 효과적으로 학습한 것으로 나타났다.
• 자기주의와 소프트 물체 중심 표현의 사용은 명시적인 기호 기반 지도 없이도 복잡한 시공간 상호작용에 일반화할 수 있도록 도와준다.
• BERT 스타일의 준지도 학습 손실은 특히 데이터가 적은 환경에서 성능 향상에 크게 기여하며, 쌍이 맞지 않은 텍스트에 대해 전훈함으로써 효과를 발휘한다.
• 결과적으로 신경망이 본질적으로 추론 능력을 갖추지 못한다는 주장은 반박되며, 적절한 인덕티브 비아이어스를 갖춘 신경망이 물리적 동역학을 학습해 추론할 수 있음을 보여준다.