[논문 리뷰] Unsupervised Multilingual Word Embeddings

Xilun Chen, Claire Cardie|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 15인용 수 9

한 줄 요약

이 논문은 적대적 훈련과 의사-supervised 개선을 통해 모든 언어 쌍 간의 상호의존성을 활용하여 교차 언어 단어 표현을 동시에 학습하는 완전히 비지도 다국어 단어 임베딩 프레임워크 MAT + MPSR를 제안한다. 이는 병렬 코퍼스 없이도 다국어 단어 번역 및 교차 언어 유사성에서 비지도 기반 기준선과 최신 지도 학습 방법을 모두 능가하며, 병렬 코퍼스가 없는 저자원 언어인 파arsi와 같은 언어에서 특히 뛰어난 성능을 발휘한다.

ABSTRACT

Multilingual Word Embeddings (MWEs) represent words from multiple languages in a single distributional vector space. Unsupervised MWE (UMWE) methods acquire multilingual embeddings without cross-lingual supervision, which is a significant advantage over traditional supervised approaches and opens many new possibilities for low-resource languages. Prior art for learning UMWEs, however, merely relies on a number of independently trained Unsupervised Bilingual Word Embeddings (UBWEs) to obtain multilingual embeddings. These methods fail to leverage the interdependencies that exist among many languages. To address this shortcoming, we propose a fully unsupervised framework for learning MWEs that directly exploits the relations between all language pairs. Our model substantially outperforms previous approaches in the experiments on multilingual word translation and cross-lingual word similarity. In addition, our model even beats supervised approaches trained with cross-lingual resources.

연구 동기 및 목표

• 기존의 비지도 다국어 단어 임베딩 방법이 각 언어를 독립적으로 다루며 다국어 간 상호의존성을 忽시하는 한계를 해결하기 위해.
• 이중어 감독 또는 병렬 코퍼스가 필요 없이 모든 언어 쌍 간의 공통된 언어적 구조를 활용하는 완전히 비지도 프레임워크를 개발하기 위해.
• 단일 피벗 언어나 쌍별 모델에 의존하지 않고, 모든 언어 쌍 간의 관계를 명시적으로 모델링하여 다국어 임베딩 품질을 향상시키기 위해.
• 교차 언어 병렬 데이터를 전혀 사용하지 않고도 다국어 단어 번역 및 교차 언어 유사성 작업에서 최고 수준의 성능을 달성하기 위해.
• 비지도 다국어 모델이 병렬 데이터가 부족하거나 노이즈가 많은 저자원 언어 쌍에서 지도 학습 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 이중 단계 프레임워크를 사용한다: 다국어 적대적 훈련(MAT)은 적대적 학습을 통해 다국어 단어 임베딩 간의 분포 차이를 최소화하여 다국어 간 표현을 정렬한다.
• MAT는 소스 언어와 타겟 언어 임베딩을 구분하는 공통의 디스크리미네이터를 훈련시켜 생성자(generator)가 모든 언어 간에 구분이 불가능한 다국어 표현을 생성하도록 유도한다.
• 두 번째 단계인 다국어 의사-supervised 개선(MPSR)은 적대적으로 정렬된 임베딩을 사용해 의사 병렬 쌍을 생성하고, 대비 손실(contrastive loss)을 사용해 모델을 미세 조정하여 정렬을 향상시킨다.
• 이 프레임워크는 모든 언어 쌍을 동시에 최적화하여 피벗 기반 또는 쌍별 접근 방식으로는 달성할 수 없는 교차 언어 의존성을 포괄한다.
• 모델은 병행 문장이나 双어 어휘사전이 필요 없이 오직 단일 언어 코퍼스와 사전에 훈련된 단일 언어 단어 임베딩만을 입력으로 사용하여 훈련된다.
• 이 방법은 이중어 비지도 단어 임베딩 접근 방식을 N개의 언어로 확장하여 다국어 환경으로 일반화한다.

실험 결과

연구 질문

• RQ1 완전히 비지도 다국어 단어 임베딩 모델이 단일 피벗 언어나 독립적인 쌍별 모델에 의존하는 기존 비지도 기준선을 능가할 수 있는가?
• RQ2 모든 언어 쌍 간의 상호의존성을 명시적으로 모델링하면 독립적 또는 피벗 기반 접근 방식보다 다국어 표현 품질이 향상되는가?
• RQ3 비지도 다국어 모델이 대규모 병렬 코퍼스를 사용하는 지도 학습 방법과 비교해도 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ4 병렬 데이터가 부족하거나 존재하지 않는 저자원 언어에서 모델의 성능은 어떠한가?
• RQ5 다국어 훈련 프레임워크가 언어학적으로 유사하지만 직접적으로 쌍으로 구성되지 않은 언어 쌍에서 정렬 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 MAT + MPSR 모델은 다국어 단어 번역 작업에서 BWE-Pivot 및 BWE-Direct 기준선을 모두 능가하는 최고 수준의 성능을 달성한다.
• SemEval-2017 교차 언어 단어 유사성 벤치마크에서 MAT + MPSR는 스피어만 상관계수 0.718을 기록하여 지도 학습 모델인 NASARI를 능가하고 최고의 지도 학습 시스템인 Luminoso에 근접한 성능을 보였다.
• 비지도 방법 전반에 비해 파arsi 관련 언어 쌍에서 뚜렷한 승리를 거두었으며, 이는 지도 학습 모델이 Europarl 병렬 데이터에 접근할 수 없는 상황에서의 강점을 입증한다. 이는 저자원 언어에서의 강력한 성능을 의미한다.
• 파arsi-영어 및 파arsi-독일어 쌍에서 비지도 학습 모델인 Luminoso보다 높은 성능을 기록하여, 병렬 데이터가 제한되거나 노이즈가 많은 상황에서는 비지도 학습이 더 효과적일 수 있음을 시사한다.
• MAT + MPSR와 기준선 간의 성능 격차는 저자원 언어 쌍에서 가장 두드러지게 나타나, 모델이 다국어 지식을 효과적으로 활용할 수 있음을 검증한다.
• 모델은 언어학적으로 유사하지 않은 언어 쌍을 포함해 모든 언어 쌍에서 뛰어난 성능을 유지하며, 언어 다양성에 대한 강건성을 보여준다.