[논문 리뷰] Beyond Bilingual: Multi-sense Word Embeddings using Multilingual Context

Shyam Upadhyay, Kai-Wei Chang외 3명|arXiv (Cornell University)|2017. 06. 25.

Topic Modeling참고 문헌 33인용 수 11

한 줄 요약

이 논문은 다중 언어 코퍼스를 활용하여 다의어 표현을 학습하는 다중 시각 베이지안 비모수 모델을 제안한다. 이는 단어당 변동 가능한 의미 수를 데이터 기반으로 추론할 수 있도록 하여, 고정된 의미 수를 가정하는 기존 방법에서의 파rameter 낭비를 방지한다. 영어를 다리로 삼아 여러 언어를 동시에 학습함으로써, 双어 또는 단어 중심 접근법보다 훨씬 뛰어난 의미 해석 성능을 달성하며, 다섯 배 더 많은 데이터로 훈련된 최신 기술의 단어 중심 모델과 비교해도 성능이 유사하다.

ABSTRACT

Word embeddings, which represent a word as a point in a vector space, have become ubiquitous to several NLP tasks. A recent line of work uses bilingual (two languages) corpora to learn a different vector for each sense of a word, by exploiting crosslingual signals to aid sense identification. We present a multi-view Bayesian non-parametric algorithm which improves multi-sense word embeddings by (a) using multilingual (i.e., more than two languages) corpora to significantly improve sense embeddings beyond what one achieves with bilingual information, and (b) uses a principled approach to learn a variable number of senses per word, in a data-driven manner. Ours is the first approach with the ability to leverage multilingual corpora efficiently for multi-sense representation learning. Experiments show that multilingual training significantly improves performance over monolingual and bilingual training, by allowing us to combine different parallel corpora to leverage multilingual context. Multilingual training yields comparable performance to a state of the art mono-lingual model trained on five times more training data.

연구 동기 및 목표

• 이중 언어 기반의 다국어 의미 해석 방법의 한계를 보완하기 위해 다국어 코퍼스로 확장한다.
• 고정된 의미 수를 가정하는 것에서 벗어나, 데이터 기반으로 단어당 변동 가능한 의미 수를 추론할 수 있도록 한다.
• 영어를 공통 기준점으로 삼아 여러 언어의 단어 표현을 동시에 모델링하여 다의어 표현 학습 성능을 향상시킨다.
• 다국어 훈련이 훨씬 적은 훈련 데이터로도 대규모 단어 중심 모델과 유사한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 모델은 베이지안 비모수 프레임워크를 사용하여, 단어당 의미 벡터의 수를 단어의 단일 언어 및 다국어 맥락 증거에 기반해 동적으로 추론한다.
• 영어를 다리로 삼아 외국어 표현을 공통 벡터 공간에 정렬함으로써, 여러 언어 간에 단어 표현을 동시에 학습한다.
• 다국어 맥락 윈도우를 활용하여 다국어 맥락의 분포적 신호를 캡처하며, 각 언어별로 별도의 윈도우 크기를 설정하여 신호 품질을 최적화한다.
• 여러 개의 병렬 코퍼스(예: En-Fr, En-Zh)를 하나의 다국어 훈련 코퍼스로 통합하여 커버리지와 의미 해석 능력을 향상시킨다.
• 중국어-영어-프랑스어 병렬 코퍼스(MultiUN)를 사용하여 어족 간 영향을 평가하고 다국어 윈도우 파라미터를 최적화한다.
• 의미 추론은 딜리클레 과정 사전확률을 활용하여, 다국어 증거에 의해 지지될 경우 새로운 의미 벡터를 동적으로 추가할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이중 언어 신호 외에 다국어 분포적 정보를 활용하면, 다의어 표현의 품질을 더 크게 향상시킬 수 있는가?
• RQ2 근연어족(예: 사리아-티베탄어족)이 아닌 언어(예: 차이나-티베탄어족)를 사용할 경우, 가까운 어족(예: 인도·계주어족)보다 더 나은 의미 해석 신호를 제공하는가?
• RQ3 다국어 윈도우 크기의 선택이 다양한 언어 조합에서 의미 군집 성능에 어떤 영향을 미치는가?
• RQ4 단어당 의미 수를 데이터 기반으로 유연하게 추론하는 비모수적 모델이 고정된 의미 수를 가진 모델보다 데이터 효율성과 정확도 측면에서 뛰어난가?
• RQ5 다국어 훈련을 통해 훨씬 적은 훈련 데이터로도 대규모 단어 중심 모델의 성능을 유사하게 달성할 수 있는가?

주요 결과

• 다국어 훈련은 단어 중심 및 이중 언어 훈련보다 유의미하게 뛰어나며, 다섯 배 더 많은 데이터로 훈련된 최신 단어 중심 모델과 비교해도 성능이 유사하다.
• 비-인도·계주어족 언어(예: 중국어)를 다국어 신호로 사용할 경우, 인도·계주어족 언어를 사용할 때보다 약간 더 나은 의미 해석 성능을 보이며, 언어 간 거리가 신호 다양성을 높인다는 것을 시사한다.
• 다국어 윈도우 크기를 늘릴 경우 일부 언어 조합(예: En-Zh)에선 성능 향상이 나타나지만, 다른 조합(예: En-French)에선 성능 저하가 발생함을 확인하여, 언어별로 별도의 윈도우 조정이 필요함을 보여준다.
• PCA 시각화 결과, 다국어 모델이 임베딩 공간에서 의미 벡터를 더 잘 군집화함을 확인했으며, '은행', '이자', '사과' 등의 의미가 더 명확히 분리되어 있다.
• 모델은 데이터 기반으로 단어당 의미 수를 유연하게 추론하여 과도한 파rameter화를 방지하고 효율성을 향상시켰다.
• 여러 병렬 코퍼스를 결합함으로써, 개별 이중 언어 코퍼스가 작더라도 효과적인 다국어 맥락 활용이 가능함을 입증했다.