[論文レビュー] Complementary Structure-Learning Neural Networks for Relational Reasoning

Jacob Russin, Maryam Zolfaghar+3 more|arXiv (Cornell University)|May 19, 2021

Memory and Neural Mechanisms参考文献 19被引用数 7

ひとこと要約

本論文は、補完的学習システム（CLS）理論にインspiredされた二重ニューラルネットワークフレームワークを提案する。速やかに学習するエピソード的ネットワークは、新規環境における迅速な推論を支援するが、ゆっくりと学習する皮質ネットワークは、なじみのある状況における構造的で一般化可能な推論を可能にする。このモデルは、関係的推論タスクにおいてfMRIで観察された主要な行動を再現し、特に推論の伝達性と海馬における類似性に基づくリトリーブを含む。これは、二重メカニズムが学習のスケールにかかわらず柔軟な関係的推論を支えることができることを示している。

ABSTRACT

The neural mechanisms supporting flexible relational inferences, especially in novel situations, are a major focus of current research. In the complementary learning systems framework, pattern separation in the hippocampus allows rapid learning in novel environments, while slower learning in neocortex accumulates small weight changes to extract systematic structure from well-learned environments. In this work, we adapt this framework to a task from a recent fMRI experiment where novel transitive inferences must be made according to implicit relational structure. We show that computational models capturing the basic cognitive properties of these two systems can explain relational transitive inferences in both familiar and novel environments, and reproduce key phenomena observed in the fMRI experiment.

研究の動機と目的

• 二重ニューラルシステム、すなわち高速エピソード的学習と遅い皮質的学習が、新規および熟知された環境の両方で柔軟な関係的推論をどのように支援するかを調査すること。
• 複数日間にわたる暗黙の関係的構造学習を含む最近のfMRI研究で観察された推論の伝達性行動を説明すること。
• 非空間的関係的推論タスクにおける補完的学習システムフレームワークの認知的および神経的ダイナミクスを捉える計算モデルを開発すること。
• 迅速なエピソード的リトリーブと段階的な構造的学習の相互作用が、人間と同等の推論パフォーマンスおよび神経パターンを再現できることを示すこと。

提案手法

• モデルは二種類の異なるニューラルネットワークを実装する：個々の経験を迅速かつパターン分離的に学習するためのスロットベースの記憶システムを備えた海馬に類似したエピソード的ネットワーク。
• 標準的な誤差逆伝播法を用いて段階的に学習する新皮質に類似したネットワークが、繰り返しの露出から抽象的な関係的構造を抽出・表現する。
• 推論は、動的類似性計算を通じて保存されたエピソード的記憶を検索・連結することで生成され、海馬のリトリーブメカニズムを模倣する。
• エピソード的ネットワークは類似性に基づくリトリーブメカニズムを用い、異なるグループ（例：能力と人気の軸）間のアイテムを結ぶことで、以前に接続されていなかったアイテム間の推論を可能にする。
• モデルはメタラーニングの原則を統合しており、エピソード的システムが繰り返しの推論問題への露出を通じて、推論をどのように行うかを学習できるようにする。
• フレームワークは、Parkら（2020）の非空間的関係的タスク上で評価される。参加者は、二つの暗黙の軸に沿った顔の相対的順位を学習する。

実験結果

リサーチクエスチョン

• RQ1 補完的学習システムフレームワークに基づいてモデル化された二重ニューラルネットワークシステムは、新規および熟知された関係的環境の両方における推論の伝達性を説明できるか？
• RQ2 高速エピソード的学習と遅い皮質的学習の相互作用は、即時の経験を超えた柔軟な関係的推論をどのように支援するか？
• RQ3 モデルは、海馬における類似性に基づくリトリーブや皮質マップに類似た表現といったfMRIで観察された神経ダイナミクスをどの程度再現できるか？
• RQ4 エピソード的ネットワークが推論を実行できるかどうかは、動的類似性計算に依存しているのか。また、それらの方法は関連付けリンク戦略と比べてどのように異なるか？

主な発見

• モデルは、新規および熟知された環境の両方で推論の伝達性を効果的に実行し、fMRI実験で観察された人間のパフォーマンスパターンを再現した。
• エピソード的ネットワークは、特に異なるグループのアイテムを結ぶ推論タスク中に観察された海馬における類似性に基づくリトリーブのfMRI的証拠を再現した。
• モデルは、動的類似性計算が、異なる関係的グループを接続するハブの効果的なリトリーブを可能にし、明示的な関連付けリンクなしに推論を支えることができることを示した。
• 皮質ネットワークは、時間の経過とともに安定したマップに類似た関係的構造の表現を発達させ、新皮質領域における認知的マップの段階的形成と整合的である。
• 学習が進むに従い、モデルはエピソード的システムから皮質的システムへの依存のシフトを示し、人間における迅速な推論からより自動的な推論への移行を模倣した。
• このフレームワークは、海馬の関与が初期学習段階で重要であるが、皮質表現が強固で一般化可能になると低下する理由を説明できる。