[論文レビュー] Multi-Way Representation Alignment

Akshit Achara, Tatiana Gaintseva+6 more|arXiv (Cornell University)|Feb 5, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

本論文は Geometry-Corrected Procrustes Alignment (GCPA) を提案し、M 個のモデルを GPA で共有直交宇宙に構築し、その後ポストホックのコンセンサスベース補正を適用して、幾何学的構造を保ちながら any-to-any の検索を改善する手法を提示する。

ABSTRACT

The Platonic Representation Hypothesis suggests that independently trained neural networks converge to increasingly similar latent spaces. However, current strategies for mapping these representations are inherently pairwise, scaling quadratically with the number of models and failing to yield a consistent global reference. In this paper, we study the alignment of $M \ge 3$ models. We first adapt Generalized Procrustes Analysis (GPA) to construct a shared orthogonal universe that preserves the internal geometry essential for tasks like model stitching. We then show that strict isometric alignment is suboptimal for retrieval, where agreement-maximizing methods like Canonical Correlation Analysis (CCA) typically prevail. To bridge this gap, we finally propose Geometry-Corrected Procrustes Alignment (GCPA), which establishes a robust GPA-based universe followed by a post-hoc correction for directional mismatch. Extensive experiments demonstrate that GCPA consistently improves any-to-any retrieval while retaining a practical shared reference space.

研究の動機と目的

• より多くの神経表現を共有宇宙で整列させる問題を動機づけ、形式化する。
• 一般化 Procrustes Analysis (GPA) を適用して、M モデルの幾何学性を保つ堅牢な共通空間を構築する。
• 等尺性宇宙（GPA）と合意重視手法（GCCA）間の検索性能ギャップを特定する。
• 幾何忠実性とモデル間合意を組み合わせる Geometry-Corrected Procrustes Alignment (GCPA) を提案・検証する。
• モデル追加のスケーラビリティと、プロービング・クラスタリング・検索タスクでのロバスト性を示す。

提案手法

• 各モデルごとに1つの写像を共通参照 U にマップして O(M) 個の写像を得る宇宙因子分解を定式化する。
• 共通宇宙 U へ距離の和を最小化し、モデルごとの直交写像を更新することで、直交宇宙を学習するよう GPA を適用する。
• 等尺性 GPA と GCCA を比較して、GCCA の変形が検索を最大化する一方で GPA が幾何学を保つ制約を与える点で検索ギャップを照らす。
• GCPA を導入：まず GPA によって直交宇宙を求め、次に共有残差補正 T_theta を適用して、サンプル i ごとの合意方向 c_i に向けて表現を寄せつつ GPA の幾何学を信頼項を介して尊重する。
• 合意方向 c_i を、サンプル i の全モデルにまたがる写像ベクトルの正規化平均として定義する。

Figure 2: Multi-way alignment stabilizes fragile connections. On edge-heavy CIFAR-100, we isolate a “weak” model pair with poor alignment. By progressively expanding the universe with robust models and refitting the universe, we observe a monotonic increase in stitching accuracy between the original

実験結果

リサーチクエスチョン

• RQ1 直交写像を持つ共有宇宙は、モデル M に対するペアごとの整列の代替として一貫性とスケーラビリティを提供できるか。
• RQ2 GPA の幾何学的保存は検索を害しうるか、後置補正が幾何学的忠実性を失わずに検索性能を回復できるか。
• RQ3 GCPA は多言語・跨カメラ・マルチモーダル設定で、プロービング・クラスタリング・検索のいずれにもおいて GPA および GCCA を上回れるか。
• RQ4 既存宇宙に新たなモデルを追加することは整列効率と性能にどう影響するか。

主な発見

Table/Metric	NA	GPA	GCCA	GCPA	Notes
Clustering (MASSIVE) ARI	0.198 ± 0.035	0.198 ± 0.036	0.194 ± 0.032	0.300 ± 0.024	GCPA はクラスタリング品質を改善する
Clustering (MASSIVE) NMI	0.509 ± 0.041	0.509 ± 0.041	0.508 ± 0.038	0.617 ± 0.022	GCPA はクラスタリング品質を改善する
Cross-lingual TED-Multi (Avg Rank-1)	Not reported	Not reported	Not reported	0.637 ± 0.?	GCPA が最高の検索性能を示す; 詳細は本文参照

• 共有宇宙を GPA で構築することで、マップ数を O(M^2) から O(M) に削減し、設計上サイクル一貫性を保証する。
• 厳密な等尺性（GPA）は幾何学を保持するが、GCCA が直交性を緩和してモデル間合意を最大化するため、検索性能は GCCA に劣る。
• GCPA は multilingual translation (TED-Multi)、跨カメラ再識別 (Market-1501)、マルチモーダル整合 (Flickr8k) において、GPA および GCCA より一貫して any-to-any 検索を改善する。
• クラスタリング on MASSIVE では、GCPA が ARI および NMI を NA、GPA、GCCA より有意に改善（ARI: 0.300±0.024、NMI: 0.617±0.022、GCPA 対 Baseline ~0.198–0.509）。
• GCPA は言語数の増加（M=3,5,10）と空間数の増加に対してロバスト性を維持し、平均・最悪ケースの検索性能で PW、GPA、GCCA より優れる。
• GCPA は TED-Multi の対応ノイズに対して耐性を示し、跨モダリティの一貫性（Δ^+ が低く Γ_90 が高い）を達成する。

Figure 3: Cross-model probing on CIFAR-100. Adding a new model by fitting only $\Omega_{M+1}$ into a fixed universe (GPA-ADD) approaches refitting the universe (GPA-REFIT) and outperforms PW alignment. To cover diverse scenarios, we use four different base model sets where the first two (from the le