[논문 리뷰] On Neural Architecture Inductive Biases for Relational Tasks

Giancarlo Kerg, Sarthak Mittal외 4명|arXiv (Cornell University)|2022. 06. 09.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 유사도 기반 관계를 사용하여 감각적 표현과 관계적 표현을 명시적으로 분리하는 간단한 신경망 아키텍처인 구성적 관계망(Compositional Relational Network, CoRelNet)을 소개한다. 디코더를 관계적 유사도 점수에만 기반해 훈련시킴으로써, 모델은 관계적 심리물리 실험 과제에서 우수한 분포 외 일반화 성능을 달성하였으며, 이는 아키텍처의 인덕티브 바이어스—특히 감각적 특징에서 관계를 분리하는 것—가 낮은 데이터 및 분포 외 설정에서 강건성을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Current deep learning approaches have shown good in-distribution generalization performance, but struggle with out-of-distribution generalization. This is especially true in the case of tasks involving abstract relations like recognizing rules in sequences, as we find in many intelligence tests. Recent work has explored how forcing relational representations to remain distinct from sensory representations, as it seems to be the case in the brain, can help artificial systems. Building on this work, we further explore and formalize the advantages afforded by 'partitioned' representations of relations and sensory details, and how this inductive bias can help recompose learned relational structure in newly encountered settings. We introduce a simple architecture based on similarity scores which we name Compositional Relational Network (CoRelNet). Using this model, we investigate a series of inductive biases that ensure abstract relations are learned and represented distinctly from sensory data, and explore their effects on out-of-distribution generalization for a series of relational psychophysics tasks. We find that simple architectural choices can outperform existing models in out-of-distribution generalization. Together, these results show that partitioning relational representations from other information streams may be a simple way to augment existing network architectures' robustness when performing out-of-distribution relational computations.

연구 동기 및 목표

• 감각적 표현과 관계적 표현을 분리하는 아키텍처의 인덕티브 바이어스—특히 감각적 특징에서 관계를 분리하는 것—가 관계 추론 과제에서 분포 외 일반화 성능을 향상시키는 방식을 조사하는 것.
• 뇌 유사 조직에서 관계가 감각 입력으로부터 추상화되는 것에 영감을 받아, 관계와 감각 세부 사항의 분리된 표현 방식의 이점을 정식화하는 것.
• 유사도 점수에 기반한 최소한의 단순한 아키텍처가 분포 외 관계 일반화에서 더 복잡한 모델을 능가할 수 있는지 평가하는 것.
• 분포 외 성능이 관계 인코딩의 품질과 감각 표현의 품질 중 어느 쪽에 더 의존하는지, 특히 유사한 특징과 변동하는 입력 맥락 하에서 파악하는 것.
• MLP, Transformer 등 기존 아키텍처에 효과적이고 최소한의 인덕티브 바이어스를 후킹하여 관계 추론의 강건성을 향상시킬 수 있는지 규명하는 것.

제안 방법

• 두 객체 간의 쌍별 유사도 점수를 도트곱 연산을 사용해 계산함으로써, 감각적 특징과 무관한 관계 표현 행렬을 형성하는 CoRelNet을 제안한다.
• 직접적인 감각 입력에 의존하지 않고 관계적 유사도 행렬에만 기반해 예측을 수행하는 별도의 경량 디코더(예: MLP)를 사용하여 예측을 감각 입력에서 분리한다.
• 입력 객체를 임bedding하는 인코더를 사용하며, 핵심 인덕티브 바이어스는 인코더가 사상성(Injective)이어야 하여 객체 정체성을 유지하는 것인 바, 디코더는 오직 관계적 구조에 의존한다.
• 동일한 객체가 다른 객체보다 더 높은 점수를 받도록 보장하기 위해 대칭적인 도트곱 유사도 함수를 적용함으로써 관계 불변성을 강화한다.
• 훈련된 인코더와 디코더 구성 요소를 제거하는 제어된 아블레이션을 통해, 새로운 객체, 새로운 관계, 다양한 입력 크기에서의 분포 외 설정에서의 성능을 평가한다.
• 아블레이션 연구를 통해 인코더의 훈련 신호를 제거하고 랜덤 인코더로 일반화 성능을 테스트함으로써 관계 인코딩의 영향을 격리하며, 분포 외 성능이 디코더가 관계 정보를 사용할 수 있는 능력에 주로 의존한다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 감각 입력에서 관계 표현을 분리하는 단순한 신경망 아키텍처가 관계 과제에서 분포 외 일반화 성능을 향상시킬 수 있는가?
• RQ2 유사도 점수를 통한 감각적 및 관계적 정보의 분리가 낮은 데이터 및 분포 외 설정에서 강건성을 얼마나 향상시키는가?
• RQ3 인코더가 랜덤하거나 학습되지 않은 경우, 모델 성능이 인코더의 품질보다 디코더의 설계에 더 의존하는가?
• RQ4 유사한 특징이 존재할 경우 분포 외 일반화에 어떤 영향을 미치며, 아키텍처의 인덕티브 바이어스가 이 문제를 완화할 수 있는가?
• RQ5 대칭적 유사도 계산과 디코더가 오직 관계 행렬에 의존하는 것과 같은 최소한의 인덕티브 바이어스가 MLP 및 Transformer와 같은 기존 아키텍처에 효과적으로 적용될 수 있는가?

주요 결과

• CoRelNet은 ESBN과 같은 기존 모델을 모두 초월하여 모든 테스트된 관계 과제에서 분포 외 일반화 성능을 높였으며, 아키텍처의 인덕티브 바이어스의 효과성을 입증한다.
• 유사한 특징이 없을 경우, 랜덤 인코더를 사용하더라도 새로운 객체와 관계에서 양호한 분포 외 일반화 성능을 달성함으로써, 디코더가 관계 유사도를 사용할 수 있다는 것이 충분함을 증명한다.
• 인코더가 훈련되었는지 여부에 관계없이, 사상성이 확보되어 있으면 강력한 성능을 유지함을 확인하였으며, 핵심 인덕티브 바이어스는 감각 스트림과 관계 스트림의 분리에 있음을 시사한다.
• 유사한 특징이 존재할 경우, 랜덤 인코더는 실패하지만, 강력한 정규화를 가진 학습된 인코더는 여전히 양호한 분포 외 일반화 성능을 달성함을 확인하였으며, 노이즈가 많은 환경에서 특징 선택의 필요성을 강조한다.
• 대칭적인 도트곱 유사도를 사용함으로써 동일한 객체는 다른 객체보다 더 높은 점수를 받게 되어, 이는 관계 학습의 안정성과 일반화 성능 향상에 기여한다.
• 인코더의 훈련 신호를 제거하고 디코더의 관계 행렬 처리에만 의존하더라도 강력한 분포 외 성능을 유지함을 확인하였으며, 이는 관계 정보가 일반화의 주요 원동력임을 확인한다.