[논문 리뷰] Unsupervised Cross-lingual Transfer of Word Embedding Spaces

Ruochen Xu, Yiming Yang외 2명|arXiv (Cornell University)|2018. 09. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 병렬 데이터나 이중어사전이 없이도 이종 언어 간 단어 임베딩을 전이하기 위한 비지도 방법을 제안한다. 이 방법은 분포 일치를 위해 Sinkhorn 거리와 역역행 손실을 함께 최적화하여 双방향 매핑을 수행한다. 제안된 방법은 병행된 자료나 이중어사전이 전혀 필요 없이도 이중어사전 유도 및 이종 언어 유사도 작업에서 최고 성능을 달성하며, 다양한 언어 조합에 걸쳐 뛰어난 강건성을 보여준다.

ABSTRACT

Cross-lingual transfer of word embeddings aims to establish the semantic mappings among words in different languages by learning the transformation functions over the corresponding word embedding spaces. Successfully solving this problem would benefit many downstream tasks such as to translate text classification models from resource-rich languages (e.g. English) to low-resource languages. Supervised methods for this problem rely on the availability of cross-lingual supervision, either using parallel corpora or bilingual lexicons as the labeled data for training, which may not be available for many low resource languages. This paper proposes an unsupervised learning approach that does not require any cross-lingual labeled data. Given two monolingual word embedding spaces for any language pair, our algorithm optimizes the transformation functions in both directions simultaneously based on distributional matching as well as minimizing the back-translation losses. We use a neural network implementation to calculate the Sinkhorn distance, a well-defined distributional similarity measure, and optimize our objective through back-propagation. Our evaluation on benchmark datasets for bilingual lexicon induction and cross-lingual word similarity prediction shows stronger or competitive performance of the proposed method compared to other state-of-the-art supervised and unsupervised baseline methods over many language pairs.

연구 동기 및 목표

• 병행된 문장집이나 이중어사전이 없는 저자원 언어에서 이종 언어 간 단어 임베딩 정렬 문제를 해결하기 위해.
• 교차 언어 지도 없이도 단일 언어 단어 임베딩 간 의미적 매핑을 학습하는 방법을 개발하기 위해.
• 이종 언어 전이 벤치마크에서 기존의 비지도 및 지도 기반 기준보다 강건성과 성능을 향상시키기 위해.
• 전방 및 후방 번역 매핑을 함께 최적화하여 일관성을 강화하고 오차 누적을 줄이기 위해.

제안 방법

• 이 방법은 신경망을 사용하여 양방향으로 변환된 단어 임베딩 간의 분포 유사도를 측정하는 유연하고 잘 정의된 미분 가능한 측정법인 Sinkhorn 거리를 계산한다.
• 두 가지 목적을 함께 최적화한다: Sinkhorn 거리를 통한 분포 일치와 두 단계 번역 후 재구성 오차를 최소화하는 역역행 손실.
• 역전파를 통해 엔드 투 엔드로 훈련되며, Sinkhorn 거리는 최적 운반 문제를 근사적으로 해결하는 미분 가능한 신경층을 통해 구현된다.
• 프레임워크는 대칭적이다: 언어 A에서 B로, B에서 A로의 변환을 동시에 학습하여 양방향에서의 일관성을 확보한다.
• 병행 문장, 이중어사전, 인간이 주석을 붙인 지도 데이터가 전혀 필요 없으며, 오직 단일 언어 임베딩에 의존한다.
• 하류 평가를 위한 유사도 점수로는 변환된 임베딩 간 코사인 유사도와 목표 단어 벡터를 사용한다.

실험 결과

연구 질문

• RQ1 완전히 비지도 방법이 병행 자료나 이중어사전 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 Sinkhorn 거리를 사용한 이중 최적화 방법이 단방향 또는 최근접 이웃 기반 방법에 비해 강건성과 정확도에서 어떻게 비교되는가?
• RQ3 역역행 손실을 사용하면 분포 일치만 사용하는 것보다 학습된 매핑의 품질이 향상되는가?
• RQ4 특히 저자원 특성을 지닌 언어 조합에 대해서도 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 표준 벤치마크로 측정했을 때, 쉬운 언어 조합뿐 아니라 어려운 언어 조합에도 잘 일반화되는가?

주요 결과

• 제안된 방법은 이중어사전 유도를 위한 LEX-Z 벤치마크에서 최고 성능을 기록했으며, 다른 비지도 방법보다 뛰어나고, 몇몇 언어 조합에서는 지도 기반 기준과도 맞먹거나 초월한다.
• 더 높은 품질의 지도 데이터와 더 큰 후보 집합을 포함한 LEX-C 데이터셋에서도 강력한 성능을 보였으며, 특히 de-en 및 fa-en과 같은 어려운 언어 조합에서 두각을 나타냈다.
• 이종 언어 단어 유사도 작업(Conneau et al., 2017)에서 피어슨 상관계수 0.71을 기록했으며, 최고의 지도 기반 방법과 동일한 성능을 달성했고, 다른 비지도 모델보다 뛰어났다.
• 모든 언어 조합과 번역 방향에서 강건한 성능을 보였으며, 특히 목표 언어보다 원천 언어에 더 많은 고유 단어가 있는 경우에도 일관된 결과를 보였다.
• Sinkhorn 거리 사용은 KL 발산이나 최근접 이웃 매칭에 비해 더 안정적이고 품질 높은 매핑을 이끌어내었으며, 추론 및 비교 분석을 통해 검증되었다.
• 이중 훈련 체계는 오차 누적을 크게 줄이고 강건성을 향상시켰으며, 낮은 역역행 손실과 재구성된 임베딩의 높은 일관성으로 이를 입증했다.