[논문 리뷰] Multi-Way Representation Alignment

Akshit Achara, Tatiana Gaintseva외 6명|arXiv (Cornell University)|2026. 02. 05.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

이 논문은 Geometry-Corrected Procrustes Alignment (GCPA)를 소개합니다. 이는 GPA를 통해 M 모델을 위한 공유 직교 우주를 구축한 뒤, 어떤-에서-어떤 검색(any-to-any retrieval)을 개선하고 기하학적 구조를 보존하기 위한 사후 합의 기반 보정을 적용하는 방법입니다.

ABSTRACT

The Platonic Representation Hypothesis suggests that independently trained neural networks converge to increasingly similar latent spaces. However, current strategies for mapping these representations are inherently pairwise, scaling quadratically with the number of models and failing to yield a consistent global reference. In this paper, we study the alignment of $M \ge 3$ models. We first adapt Generalized Procrustes Analysis (GPA) to construct a shared orthogonal universe that preserves the internal geometry essential for tasks like model stitching. We then show that strict isometric alignment is suboptimal for retrieval, where agreement-maximizing methods like Canonical Correlation Analysis (CCA) typically prevail. To bridge this gap, we finally propose Geometry-Corrected Procrustes Alignment (GCPA), which establishes a robust GPA-based universe followed by a post-hoc correction for directional mismatch. Extensive experiments demonstrate that GCPA consistently improves any-to-any retrieval while retaining a practical shared reference space.

연구 동기 및 목표

• 공유 우주를 통해 두 개 이상 neural 표현의 정렬 문제를 동기부여하고 형식화합니다.
• 일반화된 Procrustes Analysis(GPA)를 적응시켜 M 모델을 위한 견고하고 기하학 보존이 가능한 공통 공간을 학습합니다.
• isometric 우주(GPA)와 합의 초점 방법(GCCA) 간의 검색 성능 격차를 식별합니다.
• 기하학적 충실도와 모델 간 합의를 결합하는 Geometry-Corrected Procrustes Alignment(GCPA)을 제안하고 검증합니다.
• 모델 추가의 확장성 및 probing, clustering, retrieval 작업 전반에서의 강건성을 시연합니다.

제안 방법

• 모델당 하나의 맵을 공유 참조 U로 매핑하여 O(M) 개의 맵을 달성하는 우주 인수분해를 공식화합니다.
• 합의 U에 대한 거리 합을 최소화하고 각 모델의 직교 맵을 업데이트하여 직교 우주를 학습하도록 GPA를 적응합니다.
• 직교 GPA와 GCCA를 비교하여 GCCA의 변형이 검색에 이득을 주는 경우를 밝힙니다.
• GCPA를 도입합니다: 먼저 GPA를 해결해 직교 우주를 얻은 뒤, 공통 방향 c_i를 향하도록 표현을 미세하게 보정하는 공유Residual 보정 T_theta를 적용하면서 GPA의 기하학을 신뢰 용어를 통해 존중합니다.
• 합의 방향 c_i를 샘플 i에 대해 모든 모델의 매핑 벡터를 단위 정규화한 평균의 정규화로 정의합니다.

Figure 2: Multi-way alignment stabilizes fragile connections. On edge-heavy CIFAR-100, we isolate a “weak” model pair with poor alignment. By progressively expanding the universe with robust models and refitting the universe, we observe a monotonic increase in stitching accuracy between the original

실험 결과

연구 질문

• RQ1 직교 맵이 있는 공유 우주가 M 모델의 쌍대 정렬에 대한 일관되고 확장 가능한 대안을 제공할 수 있는가?
• RQ2 GPA의 기하 보존이 검색에 해를 끼치며, 사후 보정이 기하학적 충실성을 잃지 않으면서 검색 성능을 회복할 수 있는가?
• RQ3 GCPA가 다국어, 크로스-카메라, 멀티모달 설정에서 probing, clustering, retrieval across에서 GPA와 GCCA를 능가할 수 있는가?
• RQ4 기존 우주에 새로운 모델을 추가하는 것이 정렬 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

Table/Metric	NA	GPA	GCCA	GCPA	Notes
Clustering (MASSIVE) ARI	0.198 ± 0.035	0.198 ± 0.036	0.194 ± 0.032	0.300 ± 0.024	GCPA가 클러스터링 품질을 향상시킵니다.
Clustering (MASSIVE) NMI	0.509 ± 0.041	0.509 ± 0.041	0.508 ± 0.038	0.617 ± 0.022	GCPA가 클러스터링 품질을 향상시킵니다.
Cross-lingual TED-Multi (Avg Rank-1)	보고되지 않음	보고되지 않음	보고되지 않음	0.637 ± 0.?	GCPA가 최고의 검색 성능을 보임; 세부 내용은 본문 참조

• GPA를 갖춘 공유 우주는 복잡도를 O(M^2)에서 O(M) 개의 맵으로 감소시키고 설계상 순환 일관성을 보장합니다.
• 엄격한 등거리성(GPA)은 기하를 보존하지만 GCCA에 비해 검색에서 성능이 낮아지는 경향이 있으며, GCCA는 교차모델 합의를 극대화하기 위해 직교성을 완화합니다.
• GCPA는 다국어 번역(TED-Multi), 크로스-카메라 재식별(Market-1501), 멀티모달 정렬(Flickr8k)에서 GPA 및 GCCA 대비 일관되게 any-to-any 검색을 향상시킵니다.
• MASSIVE에서 클러스터링 ARI 및 NMI가 NA, GPA, GCCA 대비 크게 향상됩니다(ARI: 0.300 ± 0.024, NMI: 0.617 ± 0.022).
• GCPA는 더 많은 언어(M=3,5,10)와 공간 수가 증가해도 강건성을 유지하며, 평균 및 최악의 검색 성능에서 PW, GPA, GCCA를 능가합니다.
• GCPA는 TED-Multi의 대응 소음에 대한 견고성을 보이며 교차 모달 일관성(Δ^+ 낮고 Γ_90 높음)이 우수합니다.

Figure 3: Cross-model probing on CIFAR-100. Adding a new model by fitting only $\Omega_{M+1}$ into a fixed universe (GPA-ADD) approaches refitting the universe (GPA-REFIT) and outperforms PW alignment. To cover diverse scenarios, we use four different base model sets where the first two (from the le