[论文解读] Getting aligned on representational alignment

Ilia Sucholutsky, Lukas Muttenthaler+31 more|arXiv (Cornell University)|Oct 18, 2023

Bioinformatics and Genomic Networks被引用 34

一句话总结

本文提出一个在认知科学、神经科学和机器学习之间进行表征对齐的统一框架，基于这一视角回顾了相关工作，并概述了促进跨学科协作的开放问题。

ABSTRACT

Biological and artificial information processing systems form representations of the world that they can use to categorize, reason, plan, navigate, and make decisions. How can we measure the similarity between the representations formed by these diverse systems? Do similarities in representations then translate into similar behavior? If so, then how can a system's representations be modified to better match those of another system? These questions pertaining to the study of representational alignment are at the heart of some of the most promising research areas in contemporary cognitive science, neuroscience, and machine learning. In this Perspective, we survey the exciting recent developments in representational alignment research in the fields of cognitive science, neuroscience, and machine learning. Despite their overlapping interests, there is limited knowledge transfer between these fields, so work in one field ends up duplicated in another, and useful innovations are not shared effectively. To improve communication, we propose a unifying framework that can serve as a common language for research on representational alignment, and map several streams of existing work across fields within our framework. We also lay out open problems in representational alignment where progress can benefit all three of these fields. We hope that this paper will catalyze cross-disciplinary collaboration and accelerate progress for all communities studying and developing information processing systems.

研究动机与目标

• 提供一种共同语言，用以描述在认知科学、神经科学和机器学习领域的表征对齐研究。
• 总结先前工作如何被纳入一个包含五个关键组件的统一框架。
• 识别并清晰阐述在多个领域均可受益的开放问题与挑战。
• 鼓励在研究表征对齐时进行跨学科交流与合作。
• 提供一个基线框架，能够容纳对系统间的测量、桥接及提升对齐的能力。

提出的方法

• 调查认知科学、神经科学和机器学习领域的文献，将现有工作映射到所提框架上。
• 在统一记号下形式化表示空间、数据、测量、嵌入和对齐函数。
• 将测量、桥接与提升表征对齐作为三个核心挑战来刻画。
• 区分对齐函数的属性（相似性与不相似性、描述性与可微、对称性与方向性）。
• 通过具有代表性的示例来说明该框架，并讨论跨学科的开放问题。

实验结果

研究问题

• RQ1 如何在多种领域中始终如一地衡量两个系统之间的表征对齐程度？
• RQ2 如何将不同系统的表示桥接到一个共享空间，以实现直接比较和整合？
• RQ3 如何通过变换或学习来提升表征对齐，同时确保对新数据的泛化？
• RQ4 哪些决策标准（数据、嵌入与测量选择）会影响跨领域对对齐的推断？
• RQ5 在认知科学、神经科学和机器学习之上，表征对齐的开放问题与风险有哪些？

主要发现

• 一个统一框架可以用五个核心组件（数据、系统、测量、嵌入和对齐函数）描述认知科学、神经科学和机器学习中的表征对齐。
• 表征对齐研究可以分为三大挑战：衡量对齐、桥接表征空间、提升对齐。
• 对齐度量可以是基于相似性或不相似性、描述性或可微、对称或有方向性中的一种或多种组合，每种都能支持不同的推断。
• 不同领域采用不同的对齐函数（例如：神经科学中的表征相似性分析；描述性分析中的皮尔逊/余弦相似性；方向性分析中的KL散度）。
• 该框架有助于跨学科地解释大量先前研究，并凸显可协作的开放问题。