[논문 리뷰] On the Binding Problem in Artificial Neural Networks

Klaus Greff, Sjoerd van Steenkiste외 1명|arXiv (Cornell University)|2020. 12. 09.

Neural Networks and Applications참고 문헌 353인용 수 50

한 줄 요약

본 논문은 신경망이 분산된 정보를 동적으로 바인딩하여 기호와 유사한 객체를 형성하지 못해 일반화에 실패한다고 주장하고, 이러한 바인딩 문제를 해결하기 위해 분리, 표현, 구성에 기반한 통합 프레임워크를 제시한다.

ABSTRACT

Contemporary neural networks still fall short of human-level generalization, which extends far beyond our direct experiences. In this paper, we argue that the underlying cause for this shortcoming is their inability to dynamically and flexibly bind information that is distributed throughout the network. This binding problem affects their capacity to acquire a compositional understanding of the world in terms of symbol-like entities (like objects), which is crucial for generalizing in predictable and systematic ways. To address this issue, we propose a unifying framework that revolves around forming meaningful entities from unstructured sensory inputs (segregation), maintaining this separation of information at a representational level (representation), and using these entities to construct new inferences, predictions, and behaviors (composition). Our analysis draws inspiration from a wealth of research in neuroscience and cognitive psychology, and surveys relevant mechanisms from the machine learning literature, to help identify a combination of inductive biases that allow symbolic information processing to emerge naturally in neural networks. We believe that a compositional approach to AI, in terms of grounded symbol-like representations, is of fundamental importance for realizing human-level generalization, and we hope that this paper may contribute towards that goal as a reference and inspiration.

연구 동기 및 목표

• 분산된 정보의 동적 결합 부재가 신경망에서 기호와 같은 엔티티 형성을 제한한다고 주장한다.
• 분리(segregation), 표현(representation), 구성(composition)에 기반한 통합 프레임워크를 제시하여 바인딩 문제를 다룬다.
• 신경과학, 심리학, ML 메커니즘을 조사하여 네트워크에서 자발적 기호 처리의 가능하게 하는 유도 편향을 식별한다.
• 신경망 내에서 인간 수준의 일반화를 향한 길로서 근거 있는 구성적 표상을 옹호한다.

제안 방법

• 표현, 분리, 구성의 세 가지 측면을 통해 신경망에서의 바인딩 문제를 정의한다.
• 중첩 재앙을 피하고 객체 특징의 분리를 유지하기 위해 객체 표현을 검토한다.
• 분리, 공통 형식, 해리화를 강조하는 표현 형식을 논의한다.
• 시간적 안정성 및 불확실성 처리를 포함한 표현 동역학을 탐구한다.
• 슬롯 기반 객체 표현(slots)과 그 변형(예: 인스턴스, 연속적, 공간 슬롯)을 객체 분리와 구성성을 달성하는 메커니즘으로 조사한다.

실험 결과

연구 질문

• RQ1 신경망은 어떻게 분산된 정보를 동적으로 결합하여 객체와 같은 표현을 형성할 수 있는가?
• RQ2 연결주의 시스템에서 자발적 기호 처리의 가능하게 하는 유도 편향과 메커니즘은 무엇인가?
• RQ3 어떤 표현 형식과 동역학이 강력한 분리와 객체의 유연한 구성을 지원하는가?
• RQ4 하이브리드 기호 모듈 없이도 통합적이고 내부적으로 구속된 프레임워크가 체계적 일반화를 향상시킬 수 있는가?

주요 결과

• 신경망은 분산된 정보의 충분하지 않은 동적 결합으로 인해 체계적 일반화에 어려움을 겪는다.
• 분리, 표현, 구성에 기초한 통합 프레임워크가 근거 있는 기호와 같은 표현의 개발을 이끌 수 있다.
• 객체 표현은 분리 가능하고, 공통 형식을 공유하며, 해리되어야 유연한 추론과 일반화를 지원한다.
• 시간적 동역학과 불확실성 처리는 시간에 걸친 안정적인 객체 표현에 결정적이다.
• 슬롯 기반 표현은 객체 분리의 구체적 접근을 제공하며, 다양한 구현과 절충점을 분석한다.