[論文レビュー] The Platonic Representation Hypothesis

Minyoung Huh, Brian Cheung+2 more|arXiv (Cornell University)|May 13, 2024

Classical Philosophy and Thought被引用数 25

ひとこと要約

この論文は、AIモデルの表現が、アーキテクチャ、モダリティ、タスクを超えて観測される現実の共有された、プラトン的表現へと収束すること、そしてスケーリングがこの収束を促進することを主張します。

ABSTRACT

We argue that representations in AI models, particularly deep networks, are converging. First, we survey many examples of convergence in the literature: over time and across multiple domains, the ways by which different neural networks represent data are becoming more aligned. Next, we demonstrate convergence across data modalities: as vision models and language models get larger, they measure distance between datapoints in a more and more alike way. We hypothesize that this convergence is driving toward a shared statistical model of reality, akin to Plato's concept of an ideal reality. We term such a representation the platonic representation and discuss several possible selective pressures toward it. Finally, we discuss the implications of these trends, their limitations, and counterexamples to our analysis.

研究の動機と目的

• ニューラル表現が現実の共有された統計モデル（プラトン的表現）へ収束するという考えを動機づけ、形式化する。
• 表現の整合性を定義し、カーネルベースの類似性指標を用いて、モデル間・モダリティ間で測定する。
• アーキテクチャ、目的、データモダリティ、および脳様の表現に渡る収束を調査する。
• スケールと性能が表現の整合性および下流タスクへの転移とどのように関連するかを検討する。
• 制約、反例、および将来の基盤モデルへの含意を議論する。

提案手法

• 表現は、類似性構造を捉える対応するカーネルを伴うベクトル埋め込みとして扱われる。
• 表現の整合性は、CKD/CKA や相互最近傍測定などのカーネル整合指標を用いて定量化される。
• さまざまなアーキテクチャと訓練目的を持つ78の視覚モデル間で整合性を比較する実験。
• 視覚と言語モデルを共有データセット（例：Wikipediaのキャプション）で組み合わせ、誘導されたカーネルを比較することで、クロスモーダル整合性を測定する。
• 整合性の証拠は、モデルの能力、スケール、下流タスク転移性能と関連づけられる。

Figure 1: The Platonic Representation Hypothesis: Images ( $X$ ) and text ( $Y$ ) are projections of a common underlying reality ( $Z$ ). We conjecture that representation learning algorithms will converge on a shared representation of $Z$ , and scaling model size, as well as data and task diversity

実験結果

リサーチクエスチョン

• RQ1 モデルがスケールして多様化するにつれて、異なるアーキテクチャと目的からのニューラル表現は互いに整合するか。
• RQ2 クロスモーダル表現（視覚と言語）は共有表現へ収束するか。
• RQ3 表現の整合性と下流タスクの性能の間に測定可能な関係があるか。
• RQ4 表現は脳の表現とどの程度整合し、データの普遍的な構造について何を意味するか。
• RQ5 表現収束の制約と境界条件は何か（例：センサの違い）？

主な発見

• 多様な目的を持つ異なるモデルの表現は、能力が高まるにつれて整合性が高まる。
• 視覚モデルと言語モデルは、モデルの品質とともに強化されるクロスモーダル整合性を示し、明示的な言語監督（例：CLIP）の影響を受ける。
• モデル間の整合性はスケールと性能の向上とともに高まり、能力の高いモデルはより緊密な表現クラスタを形成する。
• より整合性の高いモデルは下流タスク（例：常識推論、数学問題）でより良い性能を示すという実証的証拠がある。
• ニューラルネットワークは脳の表現と整合性を示し、知覚データ処理に共通の基盤構造があることを示唆している。

Figure 2: VISION models converge as COMPETENCE increases: We measure alignment among $78$ models using mutual nearest-neighbors on Places-365 (Zhou et al., 2017 ) , and evaluate their performance on downstream tasks from the Visual Task Adaptation Benchmark (VTAB; Zhai et al. ( 2019 ) ). LEFT: Model