[논문 리뷰] Complementary Structure-Learning Neural Networks for Relational Reasoning

Jacob Russin, Maryam Zolfaghar외 3명|arXiv (Cornell University)|2021. 05. 19.

Memory and Neural Mechanisms참고 문헌 19인용 수 7

한 줄 요약

이 논문은 보조 학습 체계 이론에 영감을 받은 이중 신경망 프레임워크를 제안한다. 여기서 빠른 학습을 하는 에피소딕 네트워크는 새로운 환경에서 빠른 이행 추론을 지원하고, 느린 학습을 하는皮질 네트워크는 익숙한 상황에서 구조적이고 일반화 가능한 추론을 가능하게 한다. 이 모델은 비순간적 인지적 행동을 재현하며, fMRI로 관찰된 핵심 행동 패턴을 성공적으로 재현한다. 이는 이중 메커니즘이 학습 시간 척도를 넘나들며 민첩한 관계 추론을 지원할 수 있음을 보여준다.

ABSTRACT

The neural mechanisms supporting flexible relational inferences, especially in novel situations, are a major focus of current research. In the complementary learning systems framework, pattern separation in the hippocampus allows rapid learning in novel environments, while slower learning in neocortex accumulates small weight changes to extract systematic structure from well-learned environments. In this work, we adapt this framework to a task from a recent fMRI experiment where novel transitive inferences must be made according to implicit relational structure. We show that computational models capturing the basic cognitive properties of these two systems can explain relational transitive inferences in both familiar and novel environments, and reproduce key phenomena observed in the fMRI experiment.

연구 동기 및 목표

• 이중 신경 시스템—빠른 에피소딕 학습과 느린 피각 학습—이 새로운 환경와 익숙한 환경에서 모두 민첩한 관계 추론을 어떻게 지원하는지 조사하기 위해.
• 여러 일수에 걸쳐 암묵적인 관계적 구조 학습이 이루어진 최근의 fMRI 연구에서 관찰된 이행 추론 행동을 설명하기 위해.
• 비공간적 관계 추론 작업에서 보조 학습 체계 프레임워크의 인지적 및 신경적 역학을 포괄하는 계산 모델을 개발하기 위해.
• 빠른 에피소딕 기억 회상과 점진적인 구조적 학습 간의 상호작용이 인간과 유사한 추론 성능과 뇌 활동 패tern을 재현할 수 있는지 보여주기 위해.

제안 방법

• 모델은 두 가지 다른 신경망을 구현한다: 개별 경험에 대한 빠르고 패턴 분리된 학습을 위한 슬롯 기반 메모리 시스템을 사용하는 해마 유사 에피소딕 네트워크.
• 표준 역전파를 통한 점진적 학습을 수행하는 신경피질 유사 네트워크로, 반복 노출을 통해 추상적인 관계적 구조를 추출하고 표현한다.
• 이행 추론은 동적 유사도 계산을 통해 저장된 에피소딕 기억을 검색하고 연결함으로써 생성된다. 이는 해마의 기억 회상 메커니즘을 모방한다.
• 에피소딕 네트워크는 유사도 기반의 회상 메커니즘을 사용하여 서로 다른 그룹 간의 항목(예: 능력과 인기도 축)을 연결함으로써, 이전에 연결되지 않은 항목 간의 추론을 가능하게 한다.
• 모델은 메타학습 원리를 통합하여, 에피소딕 시스템이 반복적인 이행 추론 문제 노출을 통해 어떻게 추론을 수행할 수 있는지 학습하도록 한다.
• 프레임워크는 파크 등(2020)의 비공간적 관계 작업에서 평가되며, 참가자들은 두 개의 암묵적 축을 따라 얼굴의 상대적 순위를 학습한다.

실험 결과

연구 질문

• RQ1 보조 학습 체계 프레임워크에 기반한 이중 신경망 시스템이 새로운 환경와 익숙한 관계적 환경 모두에서 이행 추론을 설명할 수 있는가?
• RQ2 빠른 에피소딕 학습과 느린 피각 학습이 즉각적인 경험을 초월하여 민첩한 관계 추론을 어떻게 지원하는가?
• RQ3 해마의 유사도 기반 회상과 피각의 지ap-like 표현을 포함한 fMRI로 관찰된 뇌 활동 패턴을 모델이 어느 정도 재현할 수 있는가?
• RQ4 에피소딕 네트워크의 이행 추론 능력이 동적 유사도 계산에 의존하는가? 그리고 이는 연관 링킹 전략과 비교해 어떻게 다를까?

주요 결과

• 모델은 새로운 환경와 익숙한 환경 모두에서 이행 추론을 성공적으로 수행하며, fMRI 실험에서 관찰된 인간의 성능 패턴을 재현한다.
• 에피소딕 네트워크는 해마에서 관찰된 유사도 기반의 기억 회상 패턴을 재현한다. 특히 서로 다른 그룹의 항목 간 연결을 요구하는 추론 작업에서 두드러진다.
• 모델은 동적 유사도 계산이 서로 다른 관계적 그룹을 연결하는 핵심 요소를 효과적으로 회상함으로써, 명시적 연관 링킹 없이도 이행 추론을 지원함을 보여준다.
• 피각 네트워크는 시간이 지남에 따라 안정적이고 지도 유사한 관계적 구조 표현을 형성한다. 이는 신경피질 영역에서 점진적으로 형성되는 인지 지도와 일치한다.
• 학습이 진행됨에 따라 모델은 에피소딕 시스템에서 피각 시스템으로의 의존도가 변화함을 보여주며, 이는 인간에서의 빠른 추론에서 더 자동화된 추론으로의 전환을 반영한다.
• 이 프레임워크는 해마의 기여가 초기 학습 단계에서 필수적이지만, 피각 표현이 강화되고 일반화 가능해지면 감소하는 이유를 설명한다.