[論文レビュー] Compositional generalization through abstract representations in human and artificial neural networks

Takuya Ito, Tim Klinger+4 more|arXiv (Cornell University)|Sep 15, 2022

Neural Networks and Applications被引用数 31

ひとこと要約

本論文は、並列的な抽象表現が人間における構成的一般化を支えることを示し、fMRIのParallelism Scoreで特定できること、そして単純な事前学習がANNに同様の抽象を埋め込み、人間のようなゼロショット一般化とサンプル効率を達成することを示している。

ABSTRACT

Humans have a remarkable ability to rapidly generalize to new tasks that is difficult to reproduce in artificial learning systems. Compositionality has been proposed as a key mechanism supporting generalization in humans, but evidence of its neural implementation and impact on behavior is still scarce. Here we study the computational properties associated with compositional generalization in both humans and artificial neural networks (ANNs) on a highly compositional task. First, we identified behavioral signatures of compositional generalization in humans, along with their neural correlates using whole-cortex functional magnetic resonance imaging (fMRI) data. Next, we designed pretraining paradigms aided by a procedure we term {\em primitives pretraining} to endow compositional task elements into ANNs. We found that ANNs with this prior knowledge had greater correspondence with human behavior and neural compositional signatures. Importantly, primitives pretraining induced abstract internal representations, excellent zero-shot generalization, and sample-efficient learning. Moreover, it gave rise to a hierarchy of abstract representations that matched human fMRI data, where sensory rule abstractions emerged in early sensory areas, and motor rule abstractions emerged in later motor areas. Our findings give empirical support to the role of compositional generalization in human behavior, implicate abstract representations as its neural implementation, and illustrate that these representations can be embedded into ANNs by designing simple and efficient pretraining procedures.

研究の動機と目的

• 人間における新規タスクへの迅速な移行の機構として、構成的一般化を動機づけ、定量化する。
• Parallelism Scoreを用いて皮質全体の構成的一般化の神経指標を特定する。
• 人間の構成的一般化を模倣するための人工ニューラルネットワークにおける前提表現を開発する。
• 人間とANNにおける感覚系から運動系への階層を横断して、抽象表現がどのように出現するかを評価する。

提案手法

• 64-context C-PROタスクを用いて、三つのドメイン（logic、sensory、motor）にまたがる規則条件を系統的に変化させる。
• Parallelism Score (PS)を、fMRIデータとANN活性化における文脈間の規則コントラストの符号方向の余弦角として計算する。
• primitivesとsimple-task paradigmsを用いたANNの事前学習を行い、完全なC-PRO訓練前に基本的な規則知識を埋め込む。
• 人間とANNの神経・行動的指標を比較し、ゼロショット一般化とサンプル効率を評価する。
• 人間に観察される感覚系から運動系への皮質階層に対応させるため、ANNの層別PSを分析する。

実験結果

リサーチクエスチョン

• RQ1 人間の皮質全体で、構成的一般化の間に平行抽象表現が存在するか？
• RQ2 事前学習で学習された事前定義の抽象表現が、ANNに人間のような構成的一般化を誘発できるか？
• RQ3 神経表現の幾何（PS）が脳領域とANN層の一般化性能とどのように関係するか？
• RQ4 人間とANNの両方で、感覚系から運動系への抽象表現の収束的階層が存在するか？

主な発見

• humans show compositional generalization in novel task contexts with higher accuracy when similar to practiced contexts.
• Parallel abstract representations distributed across cortex with content-specific topography, showing rule abstractions in sensory, association, and motor regions.
• Primitives plus simple-task pretraining in ANNs yields higher PS, zero-shot generalization, and sample-efficient learning, approaching human-like performance.
• Pretraining induces a hierarchical organization of abstractions in ANNs that mirrors the sensory-to-motor cortical axis.
• Zero-shot performance and PS in ANNs are strongly correlated, indicating abstraction underlies generalization.
• Pretraining enables humans and ANNs to achieve convergent hierarchical abstractions, with sensory PS peaking in early layers and motor PS in later layers.