[논문 리뷰] The Relational Bottleneck as an Inductive Bias for Efficient Abstraction

Taylor W. Webb, Steven Frankland외 10명|arXiv (Cornell University)|2023. 09. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 신경-기호적 인도적 편향인 관계 블로킹을 도입한다. 이는 신경망이 오직 객체 간의 관계만 처리하도록 제한함으로써 추상 개념의 데이터 효율적 학습을 가능하게 한다. 객체 특징이 아닌 관계 패턴에 집중함으로써, 이 접근법은 빠른 일반화와 체계적 추론을 달성하며, 인간과 유사한 추상화를 인공 및 생물학적 시스템에 모델링하는 통합된 프레임워크를 제공한다.

ABSTRACT

A central challenge for cognitive science is to explain how abstract concepts are acquired from limited experience. This has often been framed in terms of a dichotomy between connectionist and symbolic cognitive models. Here, we highlight a recently emerging line of work that suggests a novel reconciliation of these approaches, by exploiting an inductive bias that we term the relational bottleneck. In that approach, neural networks are constrained via their architecture to focus on relations between perceptual inputs, rather than the attributes of individual inputs. We review a family of models that employ this approach to induce abstractions in a data-efficient manner, emphasizing their potential as candidate models for the acquisition of abstract concepts in the human mind and brain.

연구 동기 및 목표

• 인간이 제한된 경험에서 추상 개념을 어떻게 습득하는지에 대한 도전 과제를 다루며, 특히 상징적 모델와 연결주의 모델 간의 격차를 해결하기 위함.
• 객체의 특징 표현보다 관계 표현을 우선시하는 새로운 인도적 편향인 '관계 블로킹'을 제안함으로써 상징적 접근과 연결주의 접근을 조율하기 위함.
• 이 인도적 편향이 사전에 지정된 기호적 원천이 없이도 추상적 관계 개념을 데이터 효율적으로 학습할 수 있음을 입증하기 위함.
• 관계 블로킹이 인간 뇌에서의 추상화에 생물학적으로 설득력 있는 메커니즘일 수 있으며, 인공지능 분야에서 확장 가능한 원리로 기능할 수 있는 잠재력을 탐색하기 위함.

제안 방법

• 관계 블로킹을 정보 이론적 인도적 편향으로 수식화하여, 정보 흐름이 오직 객체 간의 관계 패턴(예: 동일/다른)에만 국한되도록 제약을 둠.
• 입력을 임bedding으로 인코딩하고 내적 곱이나 어텐션 메커니즘과 같은 연산을 통해 관계를 계산하는 신경망 아키텍처를 통해 블로킹을 구현함.
• 이중 단계 학습 프로세스를 사용함: 첫 번째 단계는 물체 수준의 특징을 추출하는 인식 헤드; 두 번째 단계는 쌍별 관계를 처리하는 관계 헤드이며, 블로킹은 아키텍처적 제약을 통해 강제함.
• 새로운 객체 조합이 포함된 데이터셋을 사용하여, 연역적 추론과 관계 패턴 탐지와 같은 체계적 일반화가 요구되는 과제에 블로킹을 적용함.
• 유사성 기반 검색과 에피소딕 유사 학습을 지원하기 위해 외부 메모리나 어텐션 메커니즘을 통합함으로써, 인지신경과학 연구 결과와 일치시킴.
• 외부 분포의 관계 패턴에 대한 일반화 성능을 평가하며, 제로샷 및 피кс샷 설정에서 성공률을 측정함.

Figure 1 : The relational bottleneck. An inductive bias that prioritizes the representation of relations (e.g., ‘same’ vs. ‘different’), and discourages the representation of the features of individual objects (e.g., the shape or color of the objects in the images above). The result is that downstre

실험 결과

연구 질문

• RQ1 관계 기반 인도적 편향이 신경망이 제한된 데이터에서 인간과 유사한 데이터 효율성으로 추상 개념을 효율적으로 학습할 수 있도록 할 수 있는가?
• RQ2 관계 블로킹은 훈련 중에 볼 수 없었던 새로운 관계 패턴으로의 체계적 일반화를 어떻게 지원하는가?
• RQ3 관계 블로킹은 특정 감각적 콘텐츠에 의해 영향을 받는 인간의 추론에서의 콘텐츠 효과를 어느 정도 설명할 수 있는가?
• RQ4 관계 블로킹은 뇌에서 어떻게 구현될 수 있으며, 허브리스, 전두엽 피질 등의 신경 구조 중 어느 것이 그 功能을 지원할 수 있는가?
• RQ5 관계 블로킹은 프로그램 유도 모델과 같은 기호적 또는 뉴로-기호적 시스템으로 확장될 수 있으며, 그들의 인도적 편향과 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 관계 블로킹은 표준 아키텍처보다 훨씬 적은 예시로 관계 패턴을 학습할 수 있도록 하여 데이터 효율적 추상화를 달성함.
• 관계 블로킹을 통한 모델은 외부 분포의 관계 패턴으로도 체계적으로 일반화되며, 유사도 과제에서 인간 수준의 추론 성능에 근접한 제로샷 전이 성능를 보임.
• 이 접근법은 사전에 지정된 기호적 원천이 필요로 하지 않아, 기존의 뉴로-기호 모델과 구별되며 추상 개념의 엔드 투 엔드 학습을 가능하게 함.
• 관계 블로킹은 인지신경과학 연구 결과와 일치하며, 특히 유사성 기반 검색과 관계 맵핑에 관여하는 해마의 역할을 잘 반영함.
• 블로킹을 통합한 아키텍처는 제한된 데이터로 훈련된 경우에도 유연한 추론과 연역적 일반화가 요구되는 과제에서 성능 향상을 보임.
• 관계 블로킹은 기호적 처리를 미분 가능하고 학습 가능한 신경망 아키텍처 내에 통합함으로써 상징적 접근과 연결주의 접근을 통합하는 통합 프레임워크를 제공함.