[논문 리뷰] Robust Cross-lingual Embeddings from Parallel Sentences

Ali Reza Sabet, Prakhar Gupta외 3명|arXiv (Cornell University)|2019. 12. 28.

Topic Modeling참고 문헌 39인용 수 12

한 줄 요약

이 논문은 병렬 문장 코퍼스를 사용하여 양방향 단어 및 문장 표현을 동시에 학습하는 Sent2vec 모델의 양국어 확장인 Bi-Sent2vec을 제안한다. 단일 언어 및 상호 언어적 목표를 동시에 학습시킴으로써, 특히 이질적인 언어 쌍에 대해 상호 언어 문장 검색에서 최고 성능을 달성하며, 레이저와 같은 깊은 RNN 모델에 비해 훨씬 낮은 계산 비용으로 제로샷 문서 분류에서 동등하거나 그 이상의 성능을 내고 있다.

ABSTRACT

Recent advances in cross-lingual word embeddings have primarily relied on mapping-based methods, which project pretrained word embeddings from different languages into a shared space through a linear transformation. However, these approaches assume word embedding spaces are isomorphic between different languages, which has been shown not to hold in practice (Søgaard et al., 2018), and fundamentally limits their performance. This motivates investigating joint learning methods which can overcome this impediment, by simultaneously learning embeddings across languages via a cross-lingual term in the training objective. We propose a bilingual extension of the CBOW method which leverages sentence-aligned corpora to obtain robust cross-lingual word and sentence representations. Our approach significantly improves cross-lingual sentence retrieval performance over all other approaches while maintaining parity with the current state-of-the-art methods on word-translation. It also achieves parity with a deep RNN method on a zero-shot cross-lingual document classification task, requiring far fewer computational resources for training and inference. As an additional advantage, our bilingual method leads to a much more pronounced improvement in the the quality of monolingual word vectors compared to other competing methods.

연구 동기 및 목표

• 언어 간 임베딩 공간이 동형임을 전제로 하는 선형 매핑 기반 상호 언어 단어 임베딩 방법의 한계를 극복하기 위해.
• 병렬 문장 데이터를 활용하여 언어 간 표현을 동시에 학습시킴으로써, 특히 자원이 적거나 이질적인 언어 쌍에 대해 상호 언어 전이 성능을 향상시키기 위해.
• 이중 언어 맥락이 단일 언어 벡터를 풍부하게 한다는 통찰을 바탕으로, 상호 언어 감독 하에 단일 언어 표현 품질을 향상시키기 위해.
• 레이저와 같은 깊은 신경망 기반 문장 인코더의 계산 비용이 훨씬 낮은 대안을 개발하여, 장치 내 배포에 적합한 모델을 만들기 위해.
• 문장 수준의 학습 목표가 고정 윈도우 맥락 모델보다 상호 언어 표현 학습에서 더 우수한 성능을 내는지 조사하기 위해.

제안 방법

• 병렬 문장 코퍼스를 사용하여 단일 언어 Sent2vec 모델을 양국어 설정으로 확장하며, 단일 언어 및 상호 언어 예측 목표를 동시에 학습시킨다.
• 양국어의 단어와 문장을 모두 투영하는 공유 임베딩 공간을 사용하며, 모델이 양국어에서 맥락을 기반으로 단어를 예측하도록 학습시킨다.
• 단일 언어 및 상호 언어 맥락에 대해 음성 샘플링 손실 함수를 사용하며, 상호 언어 구성 요소는 대응하는 문장 표현 간의 정렬을 강제한다.
• 표현 품질 향상을 위해 학습 시 n-그램 특징(예: 바이그램)을 활용하지만, 이는 이질적인 언어 쌍에서 성능 저하를 유발함을 발견했다.
• 단일 언어 및 상호 언어 목표를 조합한 가중 손실 함수를 적용하며, 학습 진행 상황에 따라 가중치를 적응적으로 조정하여 성능 포화를 방지할 수 있다.
• 저지연 인fer런스를 가능하게 하기 위해, 단어 벡터의 평균을 취하는 간단한 Bag-of-Words 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 병행 문장 코퍼스를 통한 상호 언어 표현의 공동 학습이, 동형 임베딩 공간을 전제로 하는 선형 매핑 기반 방법보다 우수한 성능을 내는가?
• RQ2 병행 문장에서의 학습이 단일 언어 사전 학습만으로는 달성할 수 없는 단일 언어 단어 표현 품질 향상에 기여하는가?
• RQ3 다양한 문체적 거리의 언어 쌍에서 공동 학습 방법의 성능 스케일링은 어떻게 되는가? 특히 이질적인 언어에서의 성능은?
• RQ4 레이저와 같은 깊은 RNN 기반 모델과 비교해, Bi-Sent2vec처럼 단순한 비순환 모델이 제로샷 문서 분류 작업에서 유사한 성능을 낼 수 있는가?
• RQ5 n-그램 특징과 코퍼스 크기가 공동 상호 언어 학습의 견고성과 확장성에 어떤 영향을 미치는가?

주요 결과

• Bi-Sent2vec는 상호 언어 문장 검색에서 최고 성능을 기록하며, 매핑 기반 및 공동 학습 모델을 포함한 모든 경쟁 모델을 능가한다. 특히 이질적인 언어 쌍에서 두드러진 성능을 보였다.
• 단일 언어 단어 유사도 벤치마크(SimLex-999 및 WS-353)에서 Bi-Sent2vec는 Sent2vec와 FastText를 모두 뛰어넘었으며, FastText보다 더 작은 단일 언어 코퍼스로도 학습되었음에도 불구하고 성능이 뛰어나다.
• 상호 언어 단어 검색에서 Bi-Sent2vec는 현재 최고 수준의 방법들과 동등한 성능을 유지하며, 다양한 언어 쌍에서의 강건성을 입증했다.
• MLDoc 제로샷 문서 분류 작업에서 Bi-Sent2vec는 평균 정확도 77.8%를 기록했으며, 레이저의 77.3%를 略로 초월했다. 비록 더 단순하고 비순환적인 모델이지만 성능이 유사했다.
• Bi-Sent2vec는 레이저 대비 훈련 및 인fer런스 시 계산 비용을 한 단계 낮춰, 장치 내 응용에 적합한 성능을 보였다.
• n-그램 사용은 단일 언어 성능 향상에 기여하지만, 이질적인 언어 쌍에서는 상호 언어 성능 저하를 유발함을 확인하여, 구조적 복잡성과의 상충 관계를 시사한다.