[論文レビュー] Emergent Symbols through Binding in External Memory

Taylor W. Webb, Ishan Sinha+1 more|arXiv (Cornell University)|May 3, 2021

Ferroelectric and Negative Capacitance Devices参考文献 39被引用数 5

ひとこと要約

本稿では、外部記憶を備えた再帰的ニューラルネットワークとして、エミーネント・シンボル・バインディング・ネットワーク（ESBN）を提案する。このネットワークは、明示的な記号処理を用いずに、学習によって記号的な表現が自己組織的に出現することを可能にする。メモリ機構による変数のバインディングを通じて、少数の例でのみ学習可能な新規エンティティへのほぼ完全な一般化を達成し、ルール誘導タスクにおいて他のニューラルアーキテクチャを上回る性能を示す。

ABSTRACT

A key aspect of human intelligence is the ability to infer abstract rules directly from high-dimensional sensory data, and to do so given only a limited amount of training experience. Deep neural network algorithms have proven to be a powerful tool for learning directly from high-dimensional data, but currently lack this capacity for data-efficient induction of abstract rules, leading some to argue that symbol-processing mechanisms will be necessary to account for this capacity. In this work, we take a step toward bridging this gap by introducing the Emergent Symbol Binding Network (ESBN), a recurrent network augmented with an external memory that enables a form of variable-binding and indirection. This binding mechanism allows symbol-like representations to emerge through the learning process without the need to explicitly incorporate symbol-processing machinery, enabling the ESBN to learn rules in a manner that is abstracted away from the particular entities to which those rules apply. Across a series of tasks, we show that this architecture displays nearly perfect generalization of learned rules to novel entities given only a limited number of training examples, and outperforms a number of other competitive neural network architectures.

研究の動機と目的

• 高次元のセンサリデータから、データ効率の良い抽象的ルールを誘導できるという、深層ニューラルネットワークの限界を解決すること。
• 学習によって記号的表現が自己組織的に出現することを可能にすることで、ニューラルネットワークと記号的推論のギャップを埋めること。
• 明示的な記号処理コンponentsを用いずに、ニューラルネットワークにおける変数バインディングと間接参照を実現するメカニズムを開発すること。
• 学習されたルールが、最小限のトレーニング例で新規エンティティに抽象的に一般化できることを示すこと。

提案手法

• ESBNは、表現の保存と取得を目的とした外部メモリ行列を備えた再帰的ネットワークアーキテクチャを採用する。
• 変数バインディングは、メモリアドレッシング機構を用いて概念を特定のメモリ領域に関連付けることで実現され、間接参照が可能になる。
• ネットワークは、アテンションに類似したメカニズムを通じて、エンティティをメモリ領域にバインドする学習を実施し、入力に動的に関連づけられた記号の生成を可能にする。
• 特定のエンティティから抽象化することで、アーキテクチャはルール学習を可能にし、未観測のエンティティへの一般化を実現する。
• バックプロパゲーション・スル・タイムを用いた学習で、微分可能なメモリの読取・書込操作を介してエンド・トゥ・エンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 外部記憶を備えたニューラルネットワークは、高次元データから少数の例でのみ抽象的ルールを学習できるか？
• RQ2 明示的な記号処理コンponentsを用いずに、ニューラルネットワーク内で記号的表現が自然に出現するか？
• RQ3 外部記憶におけるバインディング機構は、トレーニング時に見られなかった新規エンティティへの一般化を可能にするか？
• RQ4 データ効率性とルール一般化の観点から、ESBNは他のニューラルアーキテクチャと比較してどのように差をつけるか？

主な発見

• ESBNは、少数のトレーニング例でのみ、学習されたルールを新規エンティティにほぼ完全に一般化する。
• 特にデータが限られた状況下において、いくつかの競合するニューラルネットワークアーキテクチャを上回り、ルール誘導タスクで優れた性能を示す。
• 学習プロセスを通じて記号的表現が自己組織的に出現し、特定のエンティティから一般化されたルールへの抽象化が可能になる。
• 外部記憶におけるバインディング機構は、記号的推論に不可欠な変数バインディングと間接参照をサポートする。