[논문 리뷰] Compositional generalization through abstract representations in human and artificial neural networks

Takuya Ito, Tim Klinger외 4명|arXiv (Cornell University)|2022. 09. 15.

Neural Networks and Applications인용 수 31

한 줄 요약

이 논문은 평행 추상 표현이 인간의 구성적 일반화를 지지한다는 것을 보여주고, fMRI의 Parallelism Score로 식별 가능하며, 간단한 사전학습이 ANN에 유사한 추상화를 내재화해 인간과 유사한 제로샷 일반화 및 샘플 효율성을 달성한다는 점을 시사한다.

ABSTRACT

Humans have a remarkable ability to rapidly generalize to new tasks that is difficult to reproduce in artificial learning systems. Compositionality has been proposed as a key mechanism supporting generalization in humans, but evidence of its neural implementation and impact on behavior is still scarce. Here we study the computational properties associated with compositional generalization in both humans and artificial neural networks (ANNs) on a highly compositional task. First, we identified behavioral signatures of compositional generalization in humans, along with their neural correlates using whole-cortex functional magnetic resonance imaging (fMRI) data. Next, we designed pretraining paradigms aided by a procedure we term {\em primitives pretraining} to endow compositional task elements into ANNs. We found that ANNs with this prior knowledge had greater correspondence with human behavior and neural compositional signatures. Importantly, primitives pretraining induced abstract internal representations, excellent zero-shot generalization, and sample-efficient learning. Moreover, it gave rise to a hierarchy of abstract representations that matched human fMRI data, where sensory rule abstractions emerged in early sensory areas, and motor rule abstractions emerged in later motor areas. Our findings give empirical support to the role of compositional generalization in human behavior, implicate abstract representations as its neural implementation, and illustrate that these representations can be embedded into ANNs by designing simple and efficient pretraining procedures.

연구 동기 및 목표

• 인간에서 새로운 과제로의 빠른 전이에 대한 메커니즘으로서 구성적 일반화를 동기 부여하고 정량화한다.
• Parallelism Score를 사용해 피질 전반의 구성적 일반화의 신경 표지자를 식별한다.
• 인공신경망에서 인간의 구성적 일반화를 모방하기 위한 사전 요구 표현(prerequired representations)을 개발한다.
• 인간과 ANN에서 감각 → 운동 계층 전반에 걸쳐 추상적 표현이 어떻게 나타나는지 평가한다.

제안 방법

• 논리, 감각, 운동의 규칙 조건을 체계적으로 변화시키는 64-context C-PRO 작업을 활용한다.
• fMRI 데이터와 ANN 활성화에서 규칙 대비에 대한 코딩 방향 사이의 코사인 각도로 Parallelism Score(PS)를 계산한다.
• 전체 C-PRO 학습 전에 기본 규칙 지식을 포함하도록 원시 요소(primitives)와 간단한 과제 패러다임으로 ANN을 사전학습한다.
• 인간과 ANN 간의 신경 및 행동 표지자를 비교하고 제로샷 일반화 및 샘플 효율성을 평가한다.
• ANN의 계층별 PS를 분석하여 인간에서 관찰되는 감각→운동 피질 계통으로 매핑한다.

실험 결과

연구 질문

• RQ1 구성적 일반화 동안 피질 전반에 걸쳐 평행 추상 표현이 존재하는가?
• RQ2 사전학습으로 학습된 미리 정의된 추상 표현이 ANN에서 인간과 유사한 구성적 일반화를 유도할 수 있는가?
• RQ3 신경 표현의 기하학적 구조(PS)가 뇌 영역 및 ANN 계층의 일반화 성능과 어떤 관련이 있는가?
• RQ4 감각에서 운동에 이르는 계층에서 인간과 ANN 모두 convergent한 추상 표현의 계층화가 존재하는가?

주요 결과

• 인간은 연습된 맥락과 유사한 맥락에서의 새로운 과제 맥락에서 구성적 일반화를 보이며, 정확도가 더 높은 경향을 보인다.
• 감각, 연합, 운동 영역의 내용 특이적 위상이 있는 피질 전반에 걸친 평행 추상 표현이 존재한다는 증거를 보이며 규칙 추상화를 나타낸다.
• 원시 요소(primitives)와 간단한 과제 사전학습이 ANN에서 더 높은 PS, 제로샷 일반화, 샘플 효율적 학습을 가져와 인간과 유사한 성능에 근접한다.
• 사전학습은 ANN에서 감각→운동 축을 거치는 추상 표현의 계층적 구성을 유도한다.
• ANN의 제로샷 성능과 PS 간에 강한 상관관계가 있어 추상이 일반화의 기저임을 시사한다.
• 사전학습은 인간과 ANN이 수렴하는 계층적 추상화를 달성하게 하며, 감각 PS는 초반 계층에서 최고조이고 운동 PS는 후반 계층에서 최고조로 나타난다.