[논문 리뷰] Learning Contextualised Cross-lingual Word Embeddings for Extremely Low-Resource Languages Using Parallel Corpora.

Takashi Wada, Tomoharu Iwata외 3명|arXiv (Cornell University)|2020. 10. 27.

Topic Modeling참고 문헌 55인용 수 4

한 줄 요약

이 논문은 소규모 병렬 문장 코퍼스(예: 수백 개의 문장 쌍)를 기반으로 공유된 LSTM 기반 인코더-디코더 모델을 사용하여 저자원 다국어 단어 임베딩 방법을 제안한다. 양방향 번역과 재구성 작업을 통해 다국어 간의 문맥적 임베딩을 공동으로 학습하고, 단어 및 서브워드 표현을 결합함으로써, 유목어인 옹닝나, 시피보콘비보, 그리코와 같은 언어의 双어어휘 유도 및 어절 정렬 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a new approach for learning contextualised cross-lingual word embeddings based only on a small parallel corpus (e.g. a few hundred sentence pairs). Our method obtains word embeddings via an LSTM-based encoder-decoder model that performs bidirectional translation and reconstruction of the input sentence. Through sharing model parameters among different languages, our model jointly trains the word embeddings in a common multilingual space. We also propose a simple method to combine word and subword embeddings to make use of orthographic similarities across different languages. We base our experiments on real-world data from endangered languages, namely Yongning Na, Shipibo-Konibo and Griko. Our experiments on bilingual lexicon induction and word alignment tasks show that our model outperforms existing methods by a large margin for most language pairs. These results demonstrate that, contrary to common belief, an encoder-decoder translation model is beneficial for learning cross-lingual representations, even in extremely low-resource scenarios.

연구 동기 및 목표

• 극도로 저자원이거나 멸종 위험에 처한 언어에 대해 최소한의 병렬 데이터로 효과적인 다국어 표현을 학습하는 데 도전한다.
• 기존 방법이 자료 부족 문제로 어려움을 겪는 것을 극복하기 위해 공유된 다국어 아키텍처를 활용한다.
• 다국어 간 어휘 임베딩의 공동 학습을 통해 저자원 환경에서의 다국어 전이 성능을 향상시킨다.
• 어순 유사성을 활용하기 위해 단어 수준과 서브워드 수준의 임베딩을 결합하여 표현 품질을 향상시킨다.

제안 방법

• 소규모 병렬 코퍼스에서 양방향 번역과 문장 재구성을 수행하는 LSTM 기반 인코더-디코더 모델을 훈련한다.
• 언어 간에 모델 파라미터를 공유하여 공유된 다국어 임베딩 공간에서 어휘 임베딩을 공동으로 학습한다.
• 번역 과정에서 의미적 및 문법적 구조를 유지하기 위해 재구성 손실을 사용하여 임베딩 품질을 향상시킨다.
• 학습 가능한 메커니즘을 사용하여 단어 수준과 서브워드 수준의 임베딩을 결합하여 언어 간의 철자 유사성을 활용한다.
• 단일 병렬 문장 쌍만을 사용하여 엔드 투 엔드로 모델을 훈련하며, 독립된 언어 데이터나 외부 자원이 필요로 하지 않는다.
• 학습된 임베딩을 이종어어휘 유도 및 어절 정렬과 같은 후행 작업에 적용한다.

실험 결과

연구 질문

• RQ1 수백 개의 병렬 문장 쌍만으로 훈련된 인코더-디코더 모델이 극도로 저자원 환경에서 효과적으로 문맥적 다국어 단어 임베딩을 학습할 수 있는가?
• RQ2 언어 간 파라미터 공유가 개별 언어 또는 분리된 훈련 대비 다국어 표현 품질을 향상시키는가?
• RQ3 어순 유사성을 활용하기 위해 단어 및 서브워드 임베딩을 조합할 경우, 형태가 다양하거나 저자원인 언어에서 다국어 작업 성능이 얼마나 향상되는가?
• RQ4 멸종 위험에 처한 언어의 이종어어휘 유도 및 어절 정렬 작업에서 기존 최신 기술 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 모델은 다양한 언어 쌍에서 이종어어휘 유도 및 어절 정렬 작업에서 기존 방법보다 크게 뛰어난 성능을 보였다.
• 단지 수백 개의 병렬 문장 쌍만으로도 극도로 저자원 상황에서 강력한 성능을 달성하여 효과성을 입증했다.
• 상호 양방향 번역 및 재구성에 의한 공동 학습이 다국어 단어 임베딩 품질을 크게 향상시켰다.
• 단어 및 서브워드 임베딩의 조합은 특히 공통된 철자 특성을 가진 언어에서 언어 간 유사성을 더 잘 포착하는 데 기여했다.
• 옹닝나, 시피보콘비보, 그리코와 같은 실제 멸종 위험에 처한 언어의 데이터에서 최신 기술 수준의 결과를 달성했다.
• 일반적으로 순차적-순차적 모델이 저자원 환경에서 다국어 표현 학습에 부적합하다는 공통된 믿음을 도전할 수 있었다.