[论文解读] The Platonic Representation Hypothesis

Minyoung Huh, Brian Cheung+2 more|arXiv (Cornell University)|May 13, 2024

Classical Philosophy and Thought被引用 25

一句话总结

该论文认为AI模型中的表征在不同架构、模态和任务中趋向于共享的、柏拉图式的现实表征，且规模化推动这种趋同。

ABSTRACT

We argue that representations in AI models, particularly deep networks, are converging. First, we survey many examples of convergence in the literature: over time and across multiple domains, the ways by which different neural networks represent data are becoming more aligned. Next, we demonstrate convergence across data modalities: as vision models and language models get larger, they measure distance between datapoints in a more and more alike way. We hypothesize that this convergence is driving toward a shared statistical model of reality, akin to Plato's concept of an ideal reality. We term such a representation the platonic representation and discuss several possible selective pressures toward it. Finally, we discuss the implications of these trends, their limitations, and counterexamples to our analysis.

研究动机与目标

• 激励并形式化这样的想法：神经表征会收敛到现实的共享统计模型（一个柏拉图式表征）。
• 定义表征对齐并用核为基础的相似性度量在不同模型和模态之间衡量。
• 研究跨架构、目标、数据模态和类脑表征的趋同。
• 考察规模和性能如何与表征对齐及下游任务转移相关。
• 讨论局限性、反例以及对未来基础模型的影响。

提出的方法

• 将表征视为带有相关核的向量嵌入，以捕捉相似性结构。
• 使用核对齐度量（如 CKD/CKA）和互最近邻度量等来量化表征对齐。
• 实验比较在78个视觉模型之间的对齐，涵盖不同架构和训练目标。
• 通过在共享数据集上配对视觉和语言模型（如维基百科字幕）并比较诱导核来衡量跨模态对齐。
• 将对齐的证据与模型能力、规模和下游任务转移性能联系起来。

Figure 1: The Platonic Representation Hypothesis: Images ( $X$ ) and text ( $Y$ ) are projections of a common underlying reality ( $Z$ ). We conjecture that representation learning algorithms will converge on a shared representation of $Z$ , and scaling model size, as well as data and task diversity

实验结果

研究问题

• RQ1 随着模型规模扩大、多样化，来自不同架构和目标的神经表征是否彼此对齐？
• RQ2 跨模态表征（视觉与语言）是否会收敛到共享表征？
• RQ3 表征对齐与下游任务性能之间是否存在可测量的关系？
• RQ4 表征与大脑表征在多大程度上对齐，这对数据的普遍结构意味着什么？
• RQ5 表征趋同的局限性和边界条件是什么（如传感器差异）？

主要发现

• 来自具有不同目标的不同模型的表征表现出随着能力提升而日益对齐。
• 视觉和语言模型表现出跨模态对齐，且随着模型质量的提升而加强，且显式语言监督（如 CLIP）会影响这种对齐。
• 随着规模和性能的提升，模型间的对齐度也提高，能力更强的模型形成更紧凑的表征簇。
• 有经验证据表明对齐更好的模型在下游任务（如常识推理、数学题）上的表现往往更好。
• 神经网络与大脑表征显示出对齐，表明在感知数据处理上存在共同的基础结构。

Figure 2: VISION models converge as COMPETENCE increases: We measure alignment among $78$ models using mutual nearest-neighbors on Places-365 (Zhou et al., 2017 ) , and evaluate their performance on downstream tasks from the Visual Task Adaptation Benchmark (VTAB; Zhai et al. ( 2019 ) ). LEFT: Model