[論文レビュー] The Relational Bottleneck as an Inductive Bias for Efficient Abstraction

Taylor W. Webb, Steven Frankland+10 more|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、物体間の関係のみを処理することを制限する神経記号的インダクティブバイアスである関係的ボトルネックを導入し、抽象的概念のデータ効率的な学習を可能にする。対象固有の特徴ではなく関係的パターンに注目することで、迅速な一般化と体系的な推論が達成され、人工的および生物学的システムにおける人間らしい抽象化の統一的フレームワークを提供する。

ABSTRACT

A central challenge for cognitive science is to explain how abstract concepts are acquired from limited experience. This has often been framed in terms of a dichotomy between connectionist and symbolic cognitive models. Here, we highlight a recently emerging line of work that suggests a novel reconciliation of these approaches, by exploiting an inductive bias that we term the relational bottleneck. In that approach, neural networks are constrained via their architecture to focus on relations between perceptual inputs, rather than the attributes of individual inputs. We review a family of models that employ this approach to induce abstractions in a data-efficient manner, emphasizing their potential as candidate models for the acquisition of abstract concepts in the human mind and brain.

研究の動機と目的

• 人間が限られた経験から抽象的概念をどのように獲得するかという課題に取り組むこと、特に記号的モデルと接続主義的モデルの間のギャップを埋めること。
• 対象の特徴表現よりも関係的表現を優先することで、記号的および接続主義的アプローチを統合する、新たなインダクティブバイアス「関係的ボトルネック」を提案すること。
• このインダクティブバイアスが、事前に指定された記号的プリミティブを必要とせずに、抽象的関係的概念のデータ効率的学習を可能にすることを実証すること。
• 関係的ボトルネックが人間の脳における抽象化の生物学的に妥当なメカニズムであり、人工知能におけるスケーラブルな原則である可能性を検討すること。

提案手法

• 情報理論的インダクティブバイアスとして関係的ボトルネックを形式化し、情報の流れを物体間の関係的パターン（例：同一／異なる）に制限すること。
• ニューラルネットワークアーキテクチャを用いてボトルネックを実装し、入力を埋め込み表現にエンコードし、内積やアテンション機構などの演算によって関係を計算すること。
• 二段階の訓練プロセスを採用：第一段階では、認識ヘッドが対象レベルの特徴を抽出し、第二段階では、関係ヘッドがペアワイズの関係を処理するが、アーキテクチャ的制約によってボトルネックが強制されること。
• アナロジー推論や関係的パターン検出などの、体系的一般化を要するタスクにボトルネックを適用し、新しい物体の組み合わせを含むデータセットを用いること。
• 外部記憶またはアテンション機構を統合して類似性ベースの検索やエピソード的学習を支援し、認知神経科学の知見と整合させること。
• 分布外の関係的パターンに対する一般化性能を評価し、ゼロショットおよびフェイシュット設定での成功を測定すること。

Figure 1 : The relational bottleneck. An inductive bias that prioritizes the representation of relations (e.g., ‘same’ vs. ‘different’), and discourages the representation of the features of individual objects (e.g., the shape or color of the objects in the images above). The result is that downstre

実験結果

リサーチクエスチョン

• RQ1 関係的インダクティブバイアスは、人間のデータ効率に類似した限られたデータから抽象的概念を効率的に学習できるか？
• RQ2 関係的ボトルネックは、学習中に見られなかった新しい関係的パターンへの体系的一般化をどのように支援するか？
• RQ3 関係的ボトルネックは、特定の知覚的コンテンツによって抽象的推論が調整される現象（コンテンツ効果）をどの程度説明できるか？
• RQ4 関係的ボトルネックは脳にどのように実装可能であり、海馬や前頭前野などのどの神経構造がその機能を支援するか？
• RQ5 関係的ボトルネックは、プログラム誘導モデルなどの記号的または神経記号的システムに拡張可能か？ その場合、インダクティブバイアスと一般化性能が向上するか？

主な発見

• 関係的ボトルネックは、標準的なアーキテクチャと比較して、はるかに少ない例数で関係的パターンを学習可能であり、データ効率的な抽象化を実現する。
• 関係的ボトルネックを備えたモデルは、分布外の関係的パターンに対しても体系的に一般化でき、アナロジータスクにおけるゼロショット転送性能が人間レベルの推論と同等であることを示した。
• このアプローチは、事前に指定された記号的プリミティブを必要とせず、従来の神経記号的モデルとは異なり、抽象的概念のエンドツーエンド学習を可能にする。
• 関係的ボトルネックは、認知神経科学の知見と整合しており、特に類似性ベースの検索と関係的マッピングに寄与する海馬の役割を支持する。
• ボトルネックを統合したアーキテクチャは、流動的推論やアナロジー一般化を要するタスクで、限られたデータでの学習でも性能が向上した。
• 関係的ボトルネックは、微分可能で学習可能なニューラルアーキテクチャ内に記号的処理に類似した処理を埋め込むことで、記号的および接続主義的アプローチを統合する包括的フレームワークを提供する。