[논문 리뷰] Offline bilingual word vectors, orthogonal transformations and the inverted softmax

Samuel Smith, David H. P. Turban외 2명|arXiv (Cornell University)|2017. 02. 13.

Natural Language Processing Techniques참고 문헌 17인용 수 297

한 줄 요약

오프라인 이중언어 단어 벡터 매핑은 직교해야 하며 SVD를 통해 얻을 수 있음을 증명하고, 역소프트맥스(inverted softmax)를 도입해 번역을 개선하며, 의사 사전과 문장 수준 검색을 포함한 로버스트한 결과를 보여준다.

ABSTRACT

Usually bilingual word vectors are trained "online". Mikolov et al. showed they can also be found "offline", whereby two pre-trained embeddings are aligned with a linear transformation, using dictionaries compiled from expert knowledge. In this work, we prove that the linear transformation between two spaces should be orthogonal. This transformation can be obtained using the singular value decomposition. We introduce a novel "inverted softmax" for identifying translation pairs, with which we improve the precision @1 of Mikolov's original mapping from 34% to 43%, when translating a test set composed of both common and rare English words into Italian. Orthogonal transformations are more robust to noise, enabling us to learn the transformation without expert bilingual signal by constructing a "pseudo-dictionary" from the identical character strings which appear in both languages, achieving 40% precision on the same test set. Finally, we extend our method to retrieve the true translations of English sentences from a corpus of 200k Italian sentences with a precision @1 of 68%.

연구 동기 및 목표

• 이중언어 단어 공간 간의 선형 맵이 직교해야 하며 SVD를 통해 얻을 수 있음을 보인다.
• 번역의 허브니스(hubness)를 완화하기 위해 역소프트맥스를 도입한다.
• 동일한 문자열로부터의 의사 사전 및 정렬된 문장을 활용해 강건성을 보여준다.
• 대규모 이중언어 말뭉치에서 문장 수준 번역과 검색으로 접근을 확장한다.

제안 방법

• 이중언어 단어 공간 정합을 Dictionary 쌍으로부터 직교 변환 O를 학습하는 문제로 공식화한다: M = Y_D^T X_D = U Σ V^T, 이때 O = U V^T.
• 유사도 행렬 S = Y O X^T 를 정의하고, 사전 쌍에 대해 y_i^T O x_i 를 최대화하도록 매핑을 최적화한다.
• 역소프트맥스 P_{j→i} = e^{β S_{ij}} / (α_j Σ_n e^{β S_{in}})를 도입해 소스 단어들에 대한 정규화를 통해 허브니스를 감소시킨다.
• 학습 데이터 사전을 최대화하는 로그 우도(log-likelihood)를 통해 β를 학습한다.
• 변환 공간에서 最近의 이웃으로 번역을 계산하고, 필요에 따라 작은 특이값에 해당하는 성분을 버려 차원 축소를 적용한다.
• 언어 간 동일 문자 문자열로부터 생성된 의사 사전이나 Europarl로 정렬된 문장들을 약한 이중언어 신호로 탐색한다.
• 단어 벡터를 합산하고 정규화해 간단한 문장 벡터를 구성하고, 어구 사전을 통해 SVD를 적용해 단어 및 문장 번역을 가능하게 한다.

실험 결과

연구 질문

• RQ1 오프라인 설정에서 단일 직교 선형 변환이 언어 간 모노링구얼 벡터를 정렬하는 데 충분한가?
• RQ2 역소프트맥스가 허브니스를 줄이고 이중언어 매핑의 번역 정밀도를 향상시키는가?
• RQ3 의사 사전 또는 동일 문자열과 같이 약하거나 신호가 거의 없는 경우의 직교 정렬의 강건성은 어떤가?
• RQ4 단어 벡터로부터 파생된 간단한 문장 벡터에 동일한 정합을 적용해 문장 수준 번역을 달성할 수 있는가?

주요 결과

• 오프라인 설정에서 이중언어 단어 공간을 최적으로 정렬하는 것은 직교 변환(단일 SVD 단계를 통해)이다.
• 역소프트맥스는 원래 매핑에 비해 번역 정밀도를 현저히 향상시킨다(예: 영어→이탈리아어에서 5k 사전으로 @1의 34%에서 43%로 증가).
• 언어 간 동일 문자 문자열을 의사 사전으로 사용할 때 전문가 이중언어 신호 없이도 영어→이탈리아어에서 @1의 정밀도 40%를 얻는다.
• 영어에서 이탈리아어로의 문장 수준 번역은 200k 이탈리아어 후보 중 실제 번역을 검색할 때 @1 약 68%의 정밀도에 도달한다.
• 유로파얼(Europarl) 정렬 문장을 구문 사전으로 사용하면 영어→이탈리아어에서 @1 42.8%, 이탈리아어→영어에서 @1 37.5%에 도달해 단어 사전 결과와 비교할 만한 성과를 보인다.
• 이 방법은 큰 후보 집합에서 영어 문장의 실제 번역을 높은 정확도로 검색하는 것도 지원하며, 특정 설정에서 최대 @1 68%까지 달성된다.