[論文レビュー] On the Binding Problem in Artificial Neural Networks

Klaus Greff, Sjoerd van Steenkiste+1 more|arXiv (Cornell University)|Dec 9, 2020

Neural Networks and Applications参考文献 353被引用数 50

ひとこと要約

本論文はニューラルネットワークが分布情報を動的に結合してシンボルのようなオブジェクトを形成できないため一般化に失敗すると主張し、結合問題に対処するための分離、表現、構成を基盤とする統一的な枠組みを提案する。

ABSTRACT

Contemporary neural networks still fall short of human-level generalization, which extends far beyond our direct experiences. In this paper, we argue that the underlying cause for this shortcoming is their inability to dynamically and flexibly bind information that is distributed throughout the network. This binding problem affects their capacity to acquire a compositional understanding of the world in terms of symbol-like entities (like objects), which is crucial for generalizing in predictable and systematic ways. To address this issue, we propose a unifying framework that revolves around forming meaningful entities from unstructured sensory inputs (segregation), maintaining this separation of information at a representational level (representation), and using these entities to construct new inferences, predictions, and behaviors (composition). Our analysis draws inspiration from a wealth of research in neuroscience and cognitive psychology, and surveys relevant mechanisms from the machine learning literature, to help identify a combination of inductive biases that allow symbolic information processing to emerge naturally in neural networks. We believe that a compositional approach to AI, in terms of grounded symbol-like representations, is of fundamental importance for realizing human-level generalization, and we hope that this paper may contribute towards that goal as a reference and inspiration.

研究の動機と目的

• 分布情報の動的結合の欠如がニューラルネットワークにおけるシンボルのようなエンティティ形成を制限するという主張。
• 結合問題に対処するため、分離、表現、構成に基づく統一的な枠組みを提示する。
• ネットワークにおける出現的なシンボリック処理を可能にする帰納的バイアスを特定するため、神経科学、心理学、機械学習の機構を調査する。
• ニューラルネットワーク内での人間レベルの一般化への道として、地に足のついた構成的表現を提唱する。

提案手法

• 結合問題を三つの側面、すなわち表現、分離、構成で定義する。
• 超重畳 catastrophe を避け、オブジェクト特徴の分離を維持するためのオブジェクト表現を検討する。
• 分離、共通フォーマット、解 disentanglement を強調する表現形式を論じる。
• 時間的安定性と不確実性処理を含む表現動態を検討する。
• オブジェクトの分離と構成性を実現する機構として、スロット（slots）とその派生（インスタンス、逐次、空間スロット）を調査する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは分布情報を動的に結合してオブジェクトのような表現を形成できるか？
• RQ2 どの帰納的バイアスと機構が結合主義系における出現的なシンボリック処理を可能にするか？
• RQ3 どの表現形式と動態がオブジェクトの分離の堅牢性と柔軟な構成を支えるか？
• RQ4 統一された内部的な基盤を持つ枠組みは、ハイブリッドなシンボリックモジュールなしで体系的一般化を改善できるか？

主な発見

• ニューラルネットワークは分布情報の十分な動的結合が欠如しているため、体系的一般化に苦労する。
• 分離・表現・構成を軸とする統一的な枠組みが、地に足のついたシンボル様表現の発展を導く手がかりとなる。
• オブジェクト表現は分離可能で、共通フォーマットを共有し、解 disentanglement されている必要があり、柔軟な推論と一般化を支える。
• 時間的動態と不確実性処理は、時間を超えて安定したオブジェクト表現にとって重要である。
• スロットベースの表現はオブジェクト分離への具体的アプローチを提供し、さまざまな実例とトレードオフが分析される。