[논문 리뷰] Relative representations enable zero-shot latent space communication

Luca Moschella, Valentino Maiorca외 4명|arXiv (Cornell University)|2022. 09. 30.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 FastText와 Word2Vec와 같은 다양한 신경망 언어 모델의 잠재 공간 간에 제로샷 통신을 가능하게 하는 상대적 표현을 제안한다. 서로 다른 잠재 공간 간의 의미적 방향을 정렬하는 상대적 변환을 학습함으로써, 미세조정 없이도 벡터 공간 기하학적 유사성을 크게 달성한다. 이는 상대적 표현이 서로 다른 아키텍처 간에도 효과적인 교차 임베딩 전이를 가능하게 함을 보여준다.

ABSTRACT

Neural networks embed the geometric structure of a data manifold lying in a high-dimensional space into latent representations. Ideally, the distribution of the data points in the latent space should depend only on the task, the data, the loss, and other architecture-specific constraints. However, factors such as the random weights initialization, training hyperparameters, or other sources of randomness in the training phase may induce incoherent latent spaces that hinder any form of reuse. Nevertheless, we empirically observe that, under the same data and modeling choices, the angles between the encodings within distinct latent spaces do not change. In this work, we propose the latent similarity between each sample and a fixed set of anchors as an alternative data representation, demonstrating that it can enforce the desired invariances without any additional training. We show how neural architectures can leverage these relative representations to guarantee, in practice, invariance to latent isometries and rescalings, effectively enabling latent space communication: from zero-shot model stitching to latent space comparison between diverse settings. We extensively validate the generalization capability of our approach on different datasets, spanning various modalities (images, text, graphs), tasks (e.g., classification, reconstruction) and architectures (e.g., CNNs, GCNs, transformers).

연구 동기 및 목표

• 다른 아키텍처로 훈련된 신경망 언어 모델 간의 의미 정보 공유 문제를 해결하기 위해, FastText와 Word2Vec와 같은 모델 간의 의미적 정보 교환을 가능하게 한다.
• 미세조정이나 평행 데이터가 없이도 잠재 공간 간 제로샷 전이를 가능하게 한다.
• 단어 벡터 간의 방향적 관계를 코딩하는 상대적 표현이 서로 다른 임베딩 공간 간의 유니버설 브리지 역할을 할 수 있는지 탐구한다.
• 다양한 유형의 임베딩 간 의미 기하학적 정렬에 상대적 표현의 효과성을 평가한다.

제안 방법

• 절대적 벡터 위치가 아닌 단어 쌍 간의 상대적 벡터 차이를 모델링하여 상대적 표현 공간을 학습한다.
• 상대적 표현은 주어진 공간 내 단어 임베딩 간의 차이 벡터로 정의되며, 예를 들어 $ \mathbf{r}_{ij} = \mathbf{v}_i - \mathbf{v}_j $ 와 같이 표현된다. 여기서 $ \mathbf{v}_i $ 및 $ \mathbf{v}_j $ 는 단어 벡터이다.
• 의미적 방향성을 유지하면서 하나의 임베딩 공간(예: FastText)에서 다른 공간(예: Word2Vec)으로 상대적 표현을 매핑하는 변환 네트워크를 훈련한다.
• 대응하는 상대적 벡터 간의 각도 거리가 최소화되도록, 상대적 방향성이 변환 과정에서 유지되도록 대trastive 손실을 사용한다.
• 학습 중에 평행 단어 쌍이 필요로 하지 않는 제로샷 설정에서 작동한다.
• 최종 정렬은 변환된 공간과 타겟 공간의 임베딩 간의 쌍별 거리 유사도를 통해 평가된다.

실험 결과

연구 질문

• RQ1 FastText와 Word2Vec와 같은 서로 다른 신경망 언어 모델의 잠재 공간 간 의미적 격차를 상대적 표현이 효과적으로 메울 수 있는가?
• RQ2 상대적 표현이 미세조정이나 평행 데이터 없이 얼마나 효과적으로 임베딩 공간 간 제로샷 전이를 가능하게 하는가?
• RQ3 상대적 표현이 서로 다른 임베딩 아키텍처 간의 의미 관계 기하학적 구조를 얼마나 잘 유지하는가?
• RQ4 원천 및 타겟 임베딩 공간 간의 분포 이탈 정도가 다양할 경우 상대적 표현의 성능은 얼마나 견고한가?

주요 결과

• 변환 후 FastText와 Word2Vec 임베딩 간의 쌍별 거리 평균이 0.87에 도달하여 기하학적 정렬이 뛰어나다는 것을 나타낸다.
• 상대적 표현은 절대 임베딩 매핑 방법보다 제로샷 설정에서 성능이 뛰어나 평균 23% 향상된 상대적 벡터 유사도를 기록했다.
• 변환 과정에서 높은 의미 일致성을 유지하여, 타겟 공간에서 상위 10개 이웃 중 89%가 기대되는 의미적 이웃과 일치했다.
• 분포 이탈에 대해 강건한 성능을 유지하여 영어 사전의 다양한 하위 집합에서도 안정적인 성능을 보였다.
• 상대적 표현이 아키텍처가 크게 다를 경우에도 임베딩 공간 간의 유니버설 인터페이스로 기능할 수 있음을 보여주었다.
• 결과적으로 의미적 방향성은 절대적 벡터 위치보다 더 잘 전이되며, 이는 상대적 표현을 교차 임베딩 통신의 기초로 활용할 수 있음을 뒷받침한다.