[논문 리뷰] Word Translation Without Parallel Data

Alexis Conneau, Guillaume Lample외 3명|arXiv (Cornell University)|2017. 10. 11.

Natural Language Processing Techniques참고 문헌 35인용 수 251

한 줄 요약

본 논문은 대립적 학습을 통해 단일언어 공간을 정렬하여 이중언어 단어 임베딩을 학습하는 비지도 방법을 제시하고, Procrustes 및 CSLS로 refine하여 여러 언어 쌍에서 감독 방법과 견줄 만한 또는 우수한 성과를 달성하며, 영어–에스페란토와 같은 먼 거리의 저자원 언어 쌍도 포함한다.

ABSTRACT

State-of-the-art methods for learning cross-lingual word embeddings have relied on bilingual dictionaries or parallel corpora. Recent studies showed that the need for parallel data supervision can be alleviated with character-level information. While these methods showed encouraging results, they are not on par with their supervised counterparts and are limited to pairs of languages sharing a common alphabet. In this work, we show that we can build a bilingual dictionary between two languages without using any parallel corpora, by aligning monolingual word embedding spaces in an unsupervised way. Without using any character information, our model even outperforms existing supervised methods on cross-lingual tasks for some language pairs. Our experiments demonstrate that our method works very well also for distant language pairs, like English-Russian or English-Chinese. We finally describe experiments on the English-Esperanto low-resource language pair, on which there only exists a limited amount of parallel data, to show the potential impact of our method in fully unsupervised machine translation. Our code, embeddings and dictionaries are publicly available.

연구 동기 및 목표

• 단일 언어 코퍼리만을 사용하여 병렬 데이터 없이 이중언어 사전을 유도하는 방법을 개발한다.
• 대립적 학습(adversarial training)을 통해 단일언어 임베딩 공간을 정렬하고 Procrustes 해를 이용해 정교화한다.
• 허브니스(hubness)를 완화하고 CSLS(교차 도메인 유사도 로컬 스케일링) 측정을 사용해 번역 검색 성능을 개선한다.
• 비지도 모델 선택 기준을 제공하고 자원(사전/임베딩)을 공개한다.
• 먼 거리의 저자원 언어를 포함한 여러 언어 쌍에서 효과를 입증한다.

제안 방법

• 두 개의 단일언어 임베딩 공간(언어당 하나)을 사용하고 병렬 데이터 없이 서로 정렬하기 위해 대립적 학습으로 선형 매핑 W를 학습한다.
• 판별자는 매핑된 소스 임베딩과 타깃 임베딩을 구분하려 하고, 매핑 W는 판별자를 속이려 한다(도메인-대립 목표).
• 상호 최근접 이웃으로 합성 이중언어 사전을 구성하고 Procrustes 해(직교 W)를 적용하여 정렬을 개선함으로써 W를 정교화한다.
• 상호NNs와 CSLS 기반 매칭으로 사전을 반복적으로 생성하여 W를 추가로 정교화한다.
• 두 도메인 모두의 이웃 평균 유사도로 유사도를 조정하여 허브니스를 줄이기 위해 CSLS(교차 도메인 유사도 로컬 스케일링)를 도입한다.
• 단일언어 임베딩 특성을 보존하기 위해 W에 직교 제약을 적용한다(명시적 업데이트 단계를 통해).
• 상위 자주 등장하는 단어들에 대한 평균 CSLS 유도 번역 유사도를 기반으로 한 비지도 모델 선택 기준을 제안하고 이를 정지/하이퍼파라미터 선택으로 사용한다.

실험 결과

연구 질문

• RQ1 교차 언어 감독이나 병렬 데이터 없이도 고품질의 이중언어 사전을 유도할 수 있는가?
• RQ2 대립 정렬(adversarial alignment)은 다양한 언어 쌍에서 감독 방법과 어떻게 비교되며, 멀리 떨어진 비 알파벳 공유 언어를 포함하는가?
• RQ3 CSLS 조정이 이중 도메인 설정에서 허브니스(hubness)를 효과적으로 완화하고 검색 정확도를 높이는가?
• RQ4 비지도 모델 선택이 매핑 품질을 신뢰성 있게 나타내고 하이퍼파라미터 선택을 안내할 수 있는가?
• RQ5 이 접근법이 저자원 언어 쌍(예: 영어–에스페란토)으로 얼마나 잘 확장되며 문장 검색 및 다국어 단어 유사도와 같은 다운스트림 작업에 얼마나 잘 전이되는가?

주요 결과

• 비지도 대립 정렬(adversarial alignment)과 그 뒤의 Procrustes 보정은 여러 언어 쌍에서 감독 방법과 비교해 경쟁력 있거나 우수한 단어 번역 정확도를 달성한다.
• CSLS는 표준 최근접 이웃 매칭에 비해 단어 번역 검색 정확도를 크게 향상시키며, 언어 간에 큰 이득을 보인다(일부 쌍에서 최대 약 7.2% 포인트).
• 상호 최근접 이웃으로부터 합성 사전을 이용한 정교화 단계는 상당한 이득을 가져오며 때로는 감독 기반의 기준선을 능가한다(예: English–Italian 및 English–Spanish의 P@1에서).
• 평균 CSLS 유사도에 기반한 비지도 모델 선택 기준은 실제 번역 품질과 상관관계가 있으며 정지/하이퍼파라미터 선택에 사용할 수 있다.
• 이 방법은 먼 언어에 대해 잘 작동하며(예: 영어–러시아어, 영어–중국어) 영어–에스페란토와 같은 저자원 쌍에서도 경쟁력 있는 결과를 가능하게 하고, 간단한 단어 단위 번역 설정에서 BLEU 증가를 측정 가능하게 보여준다.