[논문 리뷰] Learning Unsupervised Word Mapping by Maximizing Mean Discrepancy

Pengcheng Yang, Fuli Luo외 4명|arXiv (Cornell University)|2018. 11. 01.

Topic Modeling참고 문헌 26인용 수 10

한 줄 요약

이 논문은 복잡한 번갈아가며 최적화하지 않고도 소스 및 타겟 언어의 단어 임베딩 분포를 직접 최대화함으로써 분포를 정렬하는 새로운 비지도 단어 매핑 방법을 제안한다. MMD를 비모수적 측도로 활용하고, 초기화를 위해 구조적 유사도를 통합함으로써, 이 방법은 이중어사전 유도 및 다국어 유사도 작업에서 최신 기준 성능을 달성하며, 기존의 비지도 기준보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Cross-lingual word embeddings aim to capture common linguistic regularities of different languages, which benefit various downstream tasks ranging from machine translation to transfer learning. Recently, it has been shown that these embeddings can be effectively learned by aligning two disjoint monolingual vector spaces through a linear transformation (word mapping). In this work, we focus on learning such a word mapping without any supervision signal. Most previous work of this task adopts parametric metrics to measure distribution differences, which typically requires a sophisticated alternate optimization process, either in the form of \emph{minmax game} or intermediate \emph{density estimation}. This alternate optimization process is relatively hard and unstable. In order to avoid such sophisticated alternate optimization, we propose to learn unsupervised word mapping by directly maximizing the mean discrepancy between the distribution of transferred embedding and target embedding. Extensive experimental results show that our proposed model outperforms competitive baselines by a large margin.

연구 동기 및 목표

• 비지도 단어 매핑에서 최대-최소 게임 또는 밀도 추정과 같은 복잡한 번갈아가며 최적화의 불안정성과 복잡성을 해결하기 위해.
• 병행된 단어나 병행된 이중어사전 데이터가 없이도 비지도 다국어 단어 임베딩 정렬의 강건성과 성능을 향상시키기 위해.
• 단어 임베딩의 구조적 유사도 사전 지식을 활용하여 초기화에 민감도를 줄이기 위해.
• 중간 단계의 밀도 추정이 필요한 파rametric 분포 매칭 측도의 대안으로 비모수적 방법을 제공하기 위해.
• 단어 임베딩만을 사용하여 지도 학습 방법과 비교할 수 있는 성능를 달성하기 위해.

제안 방법

• 이 방법은 전이된 소스 임베딩 분포와 타겟 임베딩 분포 간의 MMD를 최대화하는 최적화 문제로 단어 매핑을 수립한다.
• 밀도 추정 없이도 분포 차이를 측정하기 위해, 가우시안 커널을 사용하여 Reproducing Kernel Hilbert Space (RKHS)에서 MMD를 계산한다.
• 벡터 노름을 유지하기 위해 정규직교 행렬 위에서 최적화를 수행함으로써, 이전 이론적 연구에서 지지된 등거리 변환을 보장한다.
• 단어 임베딩 간의 구조적 유사도를 활용하여 초기화를 학습함으로써 수렴 문제를 줄인다.
• 학습률 0.0003으로 경사 하강법을 사용하여 엔드 투 엔드로 학습하며, 매 에포크마다 학습률을 절반으로 줄이고, 비지도 평가 기준에 기반한 조기 정지 기법을 적용한다.
• 초기화 이후에 정밀화 단계를 적용하여 정렬 품질을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 MMD 기반 분포 매칭은 파rametric 측도의 대안으로서 비지도 단어 매핑에서 안정적이고 비모수적인 방법이 될 수 있는가?
• RQ2 최대-최소 게임이나 밀도 추정과 같은 번갈아가며 최적화를 피할 경우, 비지도 단어 매핑에서 더 안정적이고 효과적인 학습이 이루어지는가?
• RQ3 MMD와 구조적 유사도 기반 초기화의 조합이 수렴성과 성능 향상에 얼마나 효과적인가?
• RQ4 비지도 방법이 다국어 단어 정렬에서 지도 기반 기준과 비교해 얼마나 높은 성능을 달성할 수 있는가?
• RQ5 기존 방법이 희귀어에 어려움을 겪는 이유는 무엇이며, MMD 기반 정렬이 이 문제를 완화할 수 있는가?

주요 결과

• 제안된 방법은 이중어사전 유도 작업에서 최신 기준 성능을 달성하였으며, EN-ES에서 79.93%의 정확도를 기록하여 모든 비지도 기준을 뛰어넘었다.
• 다국어 단어 유사도 예측 작업에서는 EN-IT에서 피어슨 상관계수 0.72를 달성하여 모든 비지도 기준을 뛰어나며, 지도 학습 방법과 동등한 성능을 보였다.
• 제거 실험 결과, 초기화가 매우 중요함을 확인하였으며, 초기화 없이 학습할 경우 수렴하지 못함을 입증하여 온전한 초기화 전략의 중요성을 강조하였다.
• 정밀화 단계가 성능 향상에 크게 기여함을 보여주어, 반복적인 정밀화가 초기 MMD 최적화를 넘어서 정렬 품질을 향상시킬 수 있음을 시사하였다.
• MMD 매칭 구성 요소만으로도 성능 저하를 8.3% 감소시켜, 최적화 과정을 이끄는 데 핵심적인 역할을 한다는 점을 입증하였다.
• 오류 분석 결과, 희귀어는 여전히 문제로 남아 있으며, 이는 저품질의 단어 임베딩 때문이며, 희귀어 쌍에 대해 일반어 쌍보다 성능이 뚜렷하게 열 劣하다.