[論文レビュー] The Representational Alignment Hypothesis: Evidence for and Consequences of Invariant Semantic Structure Across Embedding Modalities

Akhil Ramidi, Kevin Scharp|arXiv (Cornell University)|Feb 18, 2026

Embodied and Extended Cognition被引用数 0

ひとこと要約

論文は、モダリティを跨ぐ独立に訓練された埋め込みが不変の意味論的幾何学を共有するという証拠を検討し、プラトン的解釈を拒否し、メタ意味論に基づく考え方を grounding する含意を論じる。さらに、単純な線形写像がモダリティ間の埋め込み空間を整合させ得ることを強調する。

ABSTRACT

There is growing evidence that independently trained AI systems come to represent the world in the same way. In other words, independently trained embeddings from text, vision, audio, and neural signals share an underlying geometry. We call this the Representational Alignment Hypothesis (RAH) and investigate evidence for and consequences of this claim. The evidence is of two kinds: (i) internal structure comparison techniques, such as representational similarity analysis and topological data analysis, reveal matching relational patterns across modalities without explicit mapping; and (ii) methods based on cross-modal embedding alignment, which learn mappings between representation spaces, show that simple linear transformations can bring different embedding spaces into close correspondence, suggesting near-isomorphism. Taken together, the evidence suggests that, even after controlling for trivial commonalities inherent in standard data preprocessing and embedding procedures, a robust structural correspondence persists, hinting at an underlying organizational principle. Some have argued that this result shows that the shared structure is getting at a fundamental, Platonic level of reality. We argue that this conclusion is unjustified. Moreover, we aim to give the idea an alternative philosophical home, rooted in contemporary metasemantics (i.e., theories of what makes a representation and what makes something meaningful) and responses to the symbol grounding problem. We conclude by considering the scope of the RAH and proposing new ways of distinguishing semantic structures that are genuinely invariant from those that inevitably arise due to the fact that all our data is generated under human-specific conditions on Earth.

研究の動機と目的

• 独立に訓練された埋め込み空間（テキスト、視覚、聴覚、神経信号）を横断して、不変でモダリティ非依存な意味構造が存在するかを評価する。
• 内部構造分析（RSA、トポロジー）と跨モーダル整合性の証拠を検討し、明示的なマッピングなしで共有幾何を示す。
• 象徴 grounding とメタ意味論への影響を評価し、プラトン的表現仮説に反論する。
• 普遍的不変性の課題を特定し、今後の研究の方向性を提案する。

提案手法

• Explicit cross-modal mappings を用いずに、各モダリティ内の関係パターンを比較する Representational Similarity Analysis (RSA)、相互情報、トップロジカルデータ解析を検討する。
• グローバルな幾何学的・トポロジー的特徴を調べて、モダリティ間で共有される空間の形を評価する。
• 線形またはほぼ線形の写像（例：Procrustes、CSLS、無監視/弱教師付きアプローチ）で空間を整合させる変換ベースの手法を概観する。
• テキスト・視覚・聴覚・神経データを跨ぐ跨モーダル整合性の証拠を示し、埋め込み空間のほぼ同型性を示す。
• このような不変構造が生じる理由を解釈するため、象徴 grounding とメタ意味論に関する文献を取り入れる。

実験結果

リサーチクエスチョン

• RQ1 モダリティ（テキスト、視覚、聴覚、神経データ）を独立に訓練した埋め込み空間に共通する不変な意味構造が存在するか。
• RQ2 これらの空間を整合させるには単純な線形変換で足りるか、意味論的な幾何のほぼ同型性を示唆するか。
• RQ3 不変な埋め込み幾何が象徴 grounding とメタ意味論にとって哲学的・実践的にどんな意味を持つか。
• RQ4 モダリティと環境を横断する普遍的不変性を主張する際の課題は何か。

主な発見

• 内部構造比較法は、跨モーダルの明示的なマッピングなしで、関係パターンが一致することを示した。
• 変換ベースの方法は、単純な線形写像で異なる埋め込み空間を近い対応へ導けることを示し、ほぼ同型性を示唆する。
• 神経・テキスト・視覚・聴覚の各モダリティ、タスク・データセットを横断する証拠と議論。
• プラトン的表現仮説は、観測された整合性の説明として却下または根拠なしと見なされる。
• Representational Alignment Hypothesis は、プラトン的現実主義よりもメタ意味論と象徴 grounding の文脈で位置づけられる。