[論文レビュー] On Neural Architecture Inductive Biases for Relational Tasks

Giancarlo Kerg, Sarthak Mittal+4 more|arXiv (Cornell University)|Jun 9, 2022

Neural Networks and Applications被引用数 10

ひとこと要約

この論文は、類似度に基づく関係を用いて、感覚的特徴と関係的特徴を明示的に分離する、シンプルなニューラルアーキテクチャ、Compositional Relational Network (CoRelNet) を導入する。デコーダーを関係的類似度スコアのみで訓練することで、関係的心理学的タスクにおいて、分布外一般化性能が顕著に向上し、特に感覚的特徴から関係を分離するというアーキテクチャのインダクティブバイアスが、低データおよびOoD設定下での耐障害性を著しく向上させることを示している。

ABSTRACT

Current deep learning approaches have shown good in-distribution generalization performance, but struggle with out-of-distribution generalization. This is especially true in the case of tasks involving abstract relations like recognizing rules in sequences, as we find in many intelligence tests. Recent work has explored how forcing relational representations to remain distinct from sensory representations, as it seems to be the case in the brain, can help artificial systems. Building on this work, we further explore and formalize the advantages afforded by 'partitioned' representations of relations and sensory details, and how this inductive bias can help recompose learned relational structure in newly encountered settings. We introduce a simple architecture based on similarity scores which we name Compositional Relational Network (CoRelNet). Using this model, we investigate a series of inductive biases that ensure abstract relations are learned and represented distinctly from sensory data, and explore their effects on out-of-distribution generalization for a series of relational psychophysics tasks. We find that simple architectural choices can outperform existing models in out-of-distribution generalization. Together, these results show that partitioning relational representations from other information streams may be a simple way to augment existing network architectures' robustness when performing out-of-distribution relational computations.

研究の動機と目的

• アーキテクチャのインダクティブバイアス、特に感覚的特徴から関係を分離することの影響が、関係的推論タスクにおける分布外（OoD）一般化にどのように寄与するかを調査すること。
• 脳に類似した組織構造（関係が知覚入力から抽象化される）をインspireし、関係と感覚的詳細の分離表現の利点を形式化すること。
• 類似度スコアに基づく最小限でシンプルなアーキテクチャが、OoD関係的一般化において、より複雑なモデルを上回る性能を発揮できるかどうかを評価すること。
• スパイルフィーチャーと変動する入力文脈下で、OoD性能が関係的エンコーディングの質と感覚的表現の質のどちらに依存するかを特定すること。
• MLP や Transformers などの既存アーキテクチャに組み込める最小限で効果的なインダクティブバイアスを同定すること。

提案手法

• 対象間のペアワイズ類似度スコアをドット積演算で計算し、感覚的特徴とは独立した関係的特徴行列を形成する CoRelNet を提案する。
• 入力の感覚的入力から直接予測を分離するため、別個の軽量デコーダー（例：MLP）を用い、予測を関係的類似度行列のみに依存させる。
• 対象を埋め込むエンコーダーを採用し、主なインダクティブバイアスとしてエンコーダーが単射である必要がある（対象の同一性を保存）。デコーダーは関係的構造のみに依存する。
• 対称的なドット積類似度関数を適用し、同一対象が異なる対象よりも高いスコアを得るようにすることで、関係的不変性を強化する。
• 未学習の対象、未学習の関係、変動する入力サイズを用いたOoD設定下での性能評価を実施。エンコーダーおよびデコーダー部の制御されたアブレーションを実施。
• アブレーションスタディを用いて関係的エンコーディングの影響を隔離し、エンコーダーの学習を除去し、ランダムエンコーダーを用いて一般化性能をテストすることで、OoD性能がデコーダーの関係的情報利用能力に依存していることを示す。

実験結果

リサーチクエスチョン

• RQ1 感覚的入力から関係的特徴を分離するシンプルなニューラルアーキテクチャが、関係的タスクにおける分布外一般化を向上させられるか？
• RQ2 類似度スコアによる感覚的特徴と関係的特徴の分離が、低データおよびOoD設定下での耐障害性にどの程度向上効果をもたらすか？
• RQ3 エンコーダーがランダムまたは学習されていない場合に、モデルの性能がエンコーダーの品質よりもデコーダーの設計に依存する程度はどの程度か？
• RQ4 スパイルフィーチャーがOoD一般化に与える影響は何か？また、アーキテクチャのインダクティブバイアスがこの問題を緩和できるか？
• RQ5 対称的類似度計算やデコーダーが関係的行列のみに依存するという最小限のインダクティブバイアスは、MLP や Transformers などの既存アーキテクチャに効果的に統合可能か？

主な発見

• CoRelNetは、ESBNを含む既存モデルをすべて上回り、テストされたすべての関係的タスクで分布外一般化性能を向上させ、アーキテクチャのインダクティブバイアスの有効性を示している。
• スパイルフィーチャーが存在しない場合、ランダムエンコーダーを用いても、未学習の対象および未学習の関係で良好なOoD一般化性能を達成しており、デコーダーが関係的類似度を適切に利用できることの十分性を示している。
• エンコーダーが学習済みまたは未学習であっても、単射である限り、モデルは強力な性能を維持しており、主なインダクティブバイアスが関係的特徴と感覚的特徴の分離にあることが示唆されている。
• スパイルフィーチャーが存在する状況では、ランダムエンコーダーは失敗するが、強力な正則化を施した学習済みエンコーダーは依然として良好なOoD一般化性能を達成できることから、ノイズの多い環境下での特徴選択の重要性が浮き彫りになる。
• 対称的ドット積類似度の使用により、同一対象が異なる対象よりも高いスコアを得るようになり、関係的学習の安定性が向上し、一般化性能が向上する。
• エンコーダーの学習信号を除去し、デコーダーの関係的行列処理にのみ依存しても、依然として強いOoD性能が得られるため、関係的情報が一般化の主な駆動要因であることが確認された。