[논문 리뷰] Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond

Mikel Artetxe, Holger Schwenk|arXiv (Cornell University)|2018. 12. 26.

Topic Modeling참고 문헌 70인용 수 753

한 줄 요약

이 논문은 93개의 언어, 30개의 언어군, 28개의 script를 포함한 93개 언어에 대해 고정 길이 문장 임베딩을 학습하기 위해 단일 공유 BiLSTM 인코더와 공유 BPE 어휘를 제안한다. 병렬 코퍼스를 기반으로 보조 디코더와 함께 훈련된 모델은 영어 애너테이션 데이터만으로도 피노티어링 없이 영어 외 언어로의 제로샷 다국어 전이를 가능하게 하며, XNLI, MLDoc, BUCC 및 새로운 112개 언어의 유사도 검색 벤치마크에서 최신 기준 성능을 달성한다. 특히 자원이 적은 언어에 대해서도 뛰어난 성능을 보인다.

ABSTRACT

We introduce an architecture to learn joint multilingual sentence representations for 93 languages, belonging to more than 30 different families and written in 28 different scripts. Our system uses a single BiLSTM encoder with a shared BPE vocabulary for all languages, which is coupled with an auxiliary decoder and trained on publicly available parallel corpora. This enables us to learn a classifier on top of the resulting embeddings using English annotated data only, and transfer it to any of the 93 languages without any modification. Our experiments in cross-lingual natural language inference (XNLI dataset), cross-lingual document classification (MLDoc dataset) and parallel corpus mining (BUCC dataset) show the effectiveness of our approach. We also introduce a new test set of aligned sentences in 112 languages, and show that our sentence embeddings obtain strong results in multilingual similarity search even for low-resource languages. Our implementation, the pre-trained encoder and the multilingual test set are available at https://github.com/facebookresearch/LASER

연구 동기 및 목표

• 대규모 수의 언어에 걸쳐 제로샷 다국어 전이를 지원하는 통합적이고 언어에 관계없는 문장 임베딩 모델을 개발하는 것.
• 단일 언어 모델의 한계를 극복하기 위해 다국어 데이터를 함께 훈련시켜 자원이 적은 언어의 성능을 향상시키는 것.
• 모델의 피노티어링 없이도 영어 애너테이션 데이터에서 93개 언어 중 어떤 언어로든 효과적인 전이 학습을 가능하게 하는 것.
• 다양한 NLP 작업과 자원이 적은 언어 환경에서의 모델 일반화 능력을 평가하는 것.
• 다국어 유사도 검색 벤치마크를 112개 언어로 도입하여 다국어 문장 표현의 평가를 가능하게 하는 것.

제안 방법

• 93개 언어 전역에서 공통의 양방향 LSTM(BiLSTM) 인코더와 공통의 바이트-페어 인코딩(BPE) 어휘를 사용한다.
• 병렬 코퍼스를 공개적으로 이용해 시퀀스-투-시퀀스 아키텍처와 보조 디코더를 사용하여 인코더를 엔드 투 엔드로 훈련시킨다.
• 훈련 후 디코더를 제거하고 인코더의 최종 은닉 상태를 고정 길이 문장 임베딩으로 사용한다.
• BiLSTM의 은닉 상태에 대해 최대 풀링을 적용하여 고정 크기의 벡터 표현을 생성한다.
• 스킵-소트, NLI, 비트택스트 마이닝의 목적함수를 활용한 다중 작업 학습을 통해 모델의 강건성을 향상시킨다.
• 다국어 일반화를 가능하게 하기 위해 입력 언어를 조건으로 삼는 언어 ID(Lid) 토큰을 사용한다.

실험 결과

연구 질문

• RQ1 공통의 BiLSTM 인코더와 공통의 BPE 어휘를 사용하는 단일 모델이 93개의 다양한 언어에서 효과적인 문장 임베딩을 학습할 수 있는가?
• RQ2 여러 언어를 함께 훈련함으로써 제로샷 다국어 전이 성능, 특히 자원이 적은 언어에서의 성능 향상 정도는 어느 정도인가?
• RQ3 피노티어링 없이도 다국어 자연어 추론, 문서 분류, 비트택스트 마이닝 등의 후행 작업에서 모델의 성능은 어떠한가?
• RQ4 훈련 중에 볼 수 없었던 언어로 일반화가 가능한가, 특히 유사 언어에서 훈련된 경우에 대해 어떻게 되는가?
• RQ5 기존의 다국어 문장 임베딩 접근법과 비교해 볼 때, 제로샷 전이 및 다국어 유사도 검색 측면에서 모델의 성능은 어떠한가?

주요 결과

• XNLI 벤치마크에서 69.92%의 정확도로 제로샷 다국어 전이 성능을 기록하며 이전 방법들을 능가하는 최신 기준 성능을 달성했다.
• MLDoc 데이터셋에서 피노티어링 없이도 다국어 문서 분류 정확도가 72.79%에 도달했다.
• BUCC 데이터셋의 비트택스트 마이닝에서 92.83%의 F1 스코어를 기록하여 문장 정렬 성능이 뛰어나다는 것을 입증했다.
• 새로 도입된 112개 언어의 Tatoeba 유사도 검색 벤치마크에서 112개 언어 중 55개 언어가 오차율 20% 이하를 기록했으며, 37개 언어는 5% 이하를 기록했다.
• 절단 실험 결과, 18개 평가 언어만 훈련하는 것보다 93개 언어 전부를 훈련하는 것이 더 높은 성능을 내는 것으로 나타나, 다국어 공동 훈련의 이점이 있음을 보여주었다.
• 훈련 데이터가 없는 타겟 언어에 대해서도 모델이 일반화되며, 자원이 적은 언어에서 효과적인 성능을 보임을 입증했다.