[논문 리뷰] Non-Adversarial Unsupervised Word Translation

Yedid Hoshen, Lior Wolf|arXiv (Cornell University)|2018. 01. 18.

Natural Language Processing Techniques참고 문헌 27인용 수 15

한 줄 요약

이 논문은 제2차 모멘트를 매칭하고 스트로스틱이고 배치 기반 최적화를 통해 언어 간 단어 임베딩를 반복적으로 정렬함으로써 비대칭적이고 반복적인 비대칭적 방법을 제안한다. 이는 생성적 적대적 네트워크(GAN) 기반의 최신 기법들을 능가하며, CPU에서 효율적으로 실행되며, 적대적 훈련이나 광범위한 초매개변수 튜닝 없이도 높은 정확도를 달성한다.

ABSTRACT

Unsupervised word translation from non-parallel inter-lingual corpora has attracted much research interest. Very recently, neural network methods trained with adversarial loss functions achieved high accuracy on this task. Despite the impressive success of the recent techniques, they suffer from the typical drawbacks of generative adversarial models: sensitivity to hyper-parameters, long training time and lack of interpretability. In this paper, we make the observation that two sufficiently similar distributions can be aligned correctly with iterative matching methods. We present a novel method that first aligns the second moment of the word distributions of the two languages and then iteratively refines the alignment. Extensive experiments on word translation of European and Non-European languages show that our method achieves better performance than recent state-of-the-art deep adversarial approaches and is competitive with the supervised baseline. It is also efficient, easy to parallelize on CPU and interpretable.

연구 동기 및 목표

• 생성적 적대적 네트워크(GAN) 기반 비지도 단어 번역의 한계, 즉 초매개변수 민감도, 장시간 훈련, 해석 가능성 부족을 해결하기 위해.
• 고성능 비지도 단어 번역을 위해 적대적 훈련이 필수적인지 탐구하기 위해.
• 다국어 단어 임베딩 정렬을 위한 깊은 생성적 적대적 모델의 더 단순하고 효율적이며 해석 가능한 대안을 개발하기 위해.
• 병행 코퍼스가 필요 없이도 유럽권 및 비유럽권, 저자원 언어까지 다양한 언어 조합에서 성능을 향상시키기 위해.

제안 방법

• 방법은 PCA와 프로크루스테스 변환을 사용하여 두 언어의 단어 임베딩의 제2모멘트(평균과 공분산)를 정렬함으로써 시작된다.
• 그 후, 근접한 이웃을 매칭하고 애핀 변환을 갱신하는 것을 번갈아가며 수행하는 반복적 가장 가까운 점(ICP) 스타일의 정밀화 과정을 적용한다.
• 랜덤한 미니배치 순서와 다수의 독립적인 실행을 통해 스트로스틱성을 도입함으로써, 특히 거리가 먼 언어 조합에서 수렴성을 향상시킨다.
• 지식 기반 비지도 기준을 사용하여 지도된 어휘집이 없는 다수의 스트로스틱 해답 중에서 가장 성능이 뛰어난 실행을 선택한다.
• 안정성과 수렴성을 향상시키기 위해 PCA를 통해 차원 축소를 수행하고 상위 주성분만 유지한다.
• 최종 변환은 다단계 과정을 통해 학습된다: 초기 공분산 매칭, 배치 기반 업데이트를 통한 반복적 정밀화, 그리고 비지도 복원 손실을 통한 선택.

실험 결과

연구 질문

• RQ1 비대칭적이고 반복적인 방법이 최신 GAN 기반 접근법과 비교해 더 나은 성능을 내거나 동등한 성능을 낼 수 있는가?
• RQ2 고품질의 다국어 단어 임베딩 정렬을 위해 적대적 훈련이 필수적인가?
• RQ3 배치 순서와 다수의 실행을 통한 스트로스틱성의 통합이 거리가 먼 언어 조합에서의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 제2모멘트 매칭과 반복적 정밀화에 기반한 단순하고 해석 가능한 방법이 복잡한 GAN 아키텍처를 능가할 수 있는가?

주요 결과

• 제안된 방법은 유럽권 언어 조합뿐 아니라 영어–아랍어, 영어–러시아어 등 비유럽권 언어 조합에서도 최근의 SOTA GAN 기반 방법보다 더 높은 번역 정확도를 달성한다.
• 영어–스페인어 및 영어–프랑스어 조합에서는 사전 및 사후 미세조정 평가 설정 모두에서 GAN 기반 기준 모델을 능가한다.
• 영어–아랍어 및 영어–이탈리아어와 같은 도전적인 조합에서는 Procrustes-ICP가 500회의 실행 중 어느 한 번도 수렴하지 못하는 데 반해, 본 방법은 훨씬 더 높은 비율로 성공적으로 수렴한다.
• 스트로스틱 PCA와 랜덤 배치 순서의 조합은 특히 거리가 먼 언어에서 수렴률을 높이며, 탐색을 위한 스트로스틱성의 중요성을 입증한다.
• 본 방법은 초매개변수 설정에 대해 강건하며, 다수의 실행에서 일관된 성능을 보이며, 최소한의 튜닝으로도 충분히 성능을 낼 수 있다.
• 본 방법은 매우 효율적이며 CPU에서 완전히 병렬화 가능하므로 GPU 자원이 없는 연구소에도 접근 가능하다.