[논문 리뷰] Getting aligned on representational alignment

Ilia Sucholutsky, Lukas Muttenthaler외 31명|arXiv (Cornell University)|2023. 10. 18.

Bioinformatics and Genomic Networks인용 수 34

한 줄 요약

이 논문은 인지과학, 신경과학 및 기계 학습 전반에 걸친 표현 일치에 대한 통합 프레임워크를 제안하고, 이 렌으로 선행 연구를 조사하며, 학제 간 협력을 촉진하기 위한 미해결 문제를 개요화한다.

ABSTRACT

Biological and artificial information processing systems form representations of the world that they can use to categorize, reason, plan, navigate, and make decisions. How can we measure the similarity between the representations formed by these diverse systems? Do similarities in representations then translate into similar behavior? If so, then how can a system's representations be modified to better match those of another system? These questions pertaining to the study of representational alignment are at the heart of some of the most promising research areas in contemporary cognitive science, neuroscience, and machine learning. In this Perspective, we survey the exciting recent developments in representational alignment research in the fields of cognitive science, neuroscience, and machine learning. Despite their overlapping interests, there is limited knowledge transfer between these fields, so work in one field ends up duplicated in another, and useful innovations are not shared effectively. To improve communication, we propose a unifying framework that can serve as a common language for research on representational alignment, and map several streams of existing work across fields within our framework. We also lay out open problems in representational alignment where progress can benefit all three of these fields. We hope that this paper will catalyze cross-disciplinary collaboration and accelerate progress for all communities studying and developing information processing systems.

연구 동기 및 목표

• 인지과학, 신경과학, 기계 학습에 걸친 표현 일치 연구를 설명하는 공통 언어를 제공한다.
• 선행 연구가 다섯 가지 핵심 구성요소를 가진 단일 프레임워크에 어떻게 맞춰지는지 요약한다.
• 진전을 통해 여러 분야에 이익이 되는 개방 문제와 도전을 식별하고 명시한다.
• 표현 일치를 연구하는 데 있어 학제 간 소통과 협업을 촉진한다.
• 시스템 간 측정, 연결, 및 정렬 향상을 수용할 수 있는 기본 프레임워크를 제공한다.

제안 방법

• 인지과학, 신경과학, 기계 학습의 문헌을 조사하여 기존 연구를 제안된 프레임워크에 매핑한다.
• 통일된 표기법으로 표현 공간, 데이터, 측정, 임베딩 및 정렬 함수를 형식화한다.
• 측정, 브리징, 그리고 표현 일치 증가를 세 가지 주요 도전으로 특징지운다.
• 정렬 함수의 특성 차이(유사성 대 비유사성, 서술적 대 미분 가능성, 대칭성 대 방향성)를 구분한다.
• 대표적 예시로 프레임워크를 설명하고 학제 간 개방 문제를 논의한다.

실험 결과

연구 질문

• RQ1 다양한 영역에 걸쳐 두 시스템 간 표현 일치의 정도를 일관되게 어떻게 측정할 수 있는가?
• RQ2 서로 다른 시스템의 표현을 직접 비교 및 통합 가능하도록 공유 공간으로 어떻게 연결할 수 있는가?
• RQ3 새로운 데이터에 대한 일반화를 보장하면서 변환이나 학습을 통해 표현 일치를 어떻게 증대시킬 수 있는가?
• RQ4 데이터, 임베딩 및 측정 선택 등 어떤 의사결정 기준이 분야 간 정합성 추론에 영향을 주는가?
• RQ5 인지과학, 신경과학, 기계 학습을 넘어서는 표현 일치의 개방 문제와 위험은 무엇인가?

주요 결과

• 하나의 프레임워크는 다섯 가지 핵심 구성요소(데이터, 시스템, 측정, 임베딩, 정렬 함수)로 인지과학, 신경과학, 기계 학습 전반의 표현 일치를 설명할 수 있다.
• 표현 일치 연구는 측정, 표현 공간의 연결, 그리고 일치 증가의 세 가지 도전으로 분류할 수 있다.
• 정렬 측정은 유사성 기반 또는 비유사성 기반, 서술적 또는 미분 가능, 대칭적 또는 방향성일 수 있으며 각각 다른 추론을 가능하게 한다.
• 다양한 분야는 서로 다른 정렬 함수를 사용한다(예: 신경과학의 representational similarity analysis; 기술적 분석의 피어슨/코사인 유사도; 방향성 분석의 KL 발산).
• 이 프레임워크는 광범위한 선행 연구의 학제 간 해석을 촉진하고 협력을 위한 개방 문제를 강조한다.