[논문 리뷰] Unsupervised Alignment of Embeddings with Wasserstein Procrustes

Édouard Grave, Armand Joulin외 1명|arXiv (Cornell University)|2018. 05. 29.

Advanced Neural Network Applications참고 문헌 54인용 수 38

한 줄 요약

이 논문은 워샤르슈타인 프로크루스테스 설정을 통해 정규직교 변환 행렬과 순열 행렬을 동시에 추정하는 스토케스틱 최적화 프레임워크를 이용해 고차원 단어 임베딩을 비지도로 정렬하는 새로운 방법을 제안한다. 이 방법은 적은 계산 자원으로도 적은 초기화 실행 횟수만으로도 비지도 어휘 번역 작업에서 최신 기준 성능을 달성하며, 적대적 방법을 능가하고 ICP 기반 접근법과 유사한 성능을 내지만 훨씬 더 효율적이다.

ABSTRACT

We consider the task of aligning two sets of points in high dimension, which has many applications in natural language processing and computer vision. As an example, it was recently shown that it is possible to infer a bilingual lexicon, without supervised data, by aligning word embeddings trained on monolingual data. These recent advances are based on adversarial training to learn the mapping between the two embeddings. In this paper, we propose to use an alternative formulation, based on the joint estimation of an orthogonal matrix and a permutation matrix. While this problem is not convex, we propose to initialize our optimization algorithm by using a convex relaxation, traditionally considered for the graph isomorphism problem. We propose a stochastic algorithm to minimize our cost function on large scale problems. Finally, we evaluate our method on the problem of unsupervised word translation, by aligning word embeddings trained on monolingual data. On this task, our method obtains state of the art results, while requiring less computational resources than competing approaches.

연구 동기 및 목표

• 저자원 또는 제로샷 번역 설정에서 지도 없는 조건에서 두 개의 고차원 임베딩을 정렬하는 문제를 해결하기 위해.
• 임베딩 정렬에서 정규직교 변환과 순열 행렬을 동시에 추정하는 스케일러블하고 안정적인 최적화 방법을 개발하기 위해.
• 적대적 훈련이나 반복적으로 가장 가까운 점(Iterative Closest Points, ICP) 기반 방법에 의존하는 기존의 비지도 정렬 방법은 계산 비용이 높고 초기화에 민감하므로 이를 개선하기 위해.
• 비볼록 최적화에서 수렴성과 성능을 향상시키기 위해 볼록 리 릴랙세이션 기반 초기화 전략을 제공하기 위해.

제안 방법

• 프로크루스테스와 워샤르슈타인 거리의 영감을 받아, 정규직교 변환과 순열 행렬 추정을 결합한 비용 함수를 최소화하는 방식으로 임베딩 정렬 문제를 설정한다.
• 변환된 소스 및 타겟 임베딩 간의 제곱 워샤르슈타인 거리 기반의 서로서프 손실을 최소화하기 위해 스트로케스틱 알고리즘을 사용한다.
• 그래프 매칭 리 릴랙세이션(Gold & Rangarajan, 1996)에서 유도된 비볼록 문제의 볼록 리 릴랙세이션을 도입하여 최적화의 수렴 성질을 향상시키는 초기화 전략을 제공한다.
• 소규모 배치에서 워샤르슈타인 거리를 효율적으로 근사하기 위해 싱크호른(Sinkhorn) 알고리즘을 활용하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 정렬 품질을 향상시키기 위해 정렬 후 보완 단계로 CSLS(Canonical Signed Distance) 기준을 적용하지만, 보완 없이도 경쟁력 있는 성능을 내고 있다.
• 배치 크기를 조절하여 워샤르슈타인 거리의 근사 정확도와 속도 사이의 트레이드오프를 제어할 수 있는 배치 기반 스트로케스틱 최적화 기반의 최적화 방식을 사용한다.

실험 결과

연구 질문

• RQ1 정규직교 변환과 순열 행렬을 동시에 최적화하는 것이, 적대적 방법이나 ICP 기반 방법보다 비지도 임베딩 정렬에서 더 나은 성능을 낼 수 있는가?
• RQ2 비볼록 정렬 문제의 볼록 리 릴랙세이션은 비볼록 최적화의 수렴성과 최종 성능 향상에 있어 효과적인 초기화 전략으로서의 역할을 할 수 있는가?
• RQ3 제안된 방법은 정렬 보완 없이 또는 다수의 랜덤 재시작 없이도 기존의 비지도 접근법보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 스트로케스틱 최적화에서 배치 크기가 계산 효율성과 정렬 정확도 사이의 트레이드오프에 어떻게 영향을 주는가?
• RQ5 그래프 매칭과 임베딩 정렬 사이의 관계는 무엇이며, 한 분야의 통찰이 다른 분야에 영향을 줄 수 있는가?

주요 결과

• 제안된 방법은 비지도 双어어휘 유도(bilingual lexicon induction)에서 최신 기준 성능을 달성했으며, en-es와 es-en 번역 쌍에서 각각 80.2%와 80.3%의 1위 정밀도를 기록하여 적대적 방법 및 ICP 기반 기준선을 능가했다.
• en-fr 쌍에서는 CSLS를 사용해 79.8%의 정밀도를 기록했으며, 이는 이전의 비지도 방법들과 유사하거나 이를 초월했고, 훨씬 더 빠르며 단 한 번의 실행만으로도 성능을 달성했다.
• 6개의 8개 언어 쌍에서 정규화된 적대적 방법(GAN-based approaches, 예: Conneau et al., 2017)보다도 정규화 없이도 성능이 뛰어나, 초기화 품질이 뛰어남을 입증했다.
• 배치 크기가 1600일 경우, 가장 큰 데이터셋에서 22분 내로 수렴했으며, 이는 강력한 확장성을 보여주었고, 더 큰 배치 크기일수록 진짜 워샤르슈타인 거리의 근사가 더 정밀해져 성능 향상이 이루어졌다.
• 볼록 리 릴랙세이션 초기화 전략은 랜덤 재시작 대비 일관된 수렴과 더 나은 성능을 보였으며, ICP와 비교해도 수백 번의 재시작이 필요로 하는 것과는 달리 안정적이고 효율적인 성능을 보였다.