[논문 리뷰] Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|2020. 04. 21.

Topic Modeling인용 수 28

한 줄 요약

이 논문은 단일 언어 문장 임베딩을 다국어 사용으로 확장하기 위해 지식 distillation 방법을 제안한다. 학생 모델이 원본 문장과 번역 문장의 벡터 표현을 일치시키도록 훈련시켜, 사전에 훈련된 단일 언어 교사 모델(예: 영어 SBERT)을 활용하여 원본 문장과 번역 문장을 동일한 임베딩 공간에 매핑하도록 학습시킨다. LASER보다 저자원 언어에서 최대 40점의 정확도 향상을 달성하며, 계산 비용은 최소화되고 벡터 공간 성질의 강력한 전이가 이루어진다.

ABSTRACT

We present an easy and efficient method to extend existing sentence embedding models to new languages. This allows to create multilingual versions from previously monolingual models. The training is based on the idea that a translated sentence should be mapped to the same location in the vector space as the original sentence. We use the original (monolingual) model to generate sentence embeddings for the source language and then train a new system on translated sentences to mimic the original model. Compared to other methods for training multilingual sentence embeddings, this approach has several advantages: It is easy to extend existing models with relatively few samples to new languages, it is easier to ensure desired properties for the vector space, and the hardware requirements for training is lower. We demonstrate the effectiveness of our approach for 50+ languages from various language families. Code to extend sentence embeddings models to more than 400 languages is publicly available.

연구 동기 및 목표

• SBERT와 같은 강력한 단일 언어 모델이 존재하지만 다국어 문장 임베딩 모델의 부족을 해결하기 위해.
• 새로운 언어로 기존 단일 언어 모델을 다시 훈련하지 않고도 효율적이고 저자원으로 확장할 수 있도록 하기 위해.
• 원본 언어에서의 바람직한 벡터 공간 성질(예: 군집화, 유사도)을 다국어 환경에서도 유지하기 위해.
• 다중 작업 또는 대비 훈련 접근 방식과 비교해 훈련 복잡성과 하드웨어 요구 사항을 줄이기 위해.
• 원본 언어 최적화와 다국어 적응을 분리함으로써 다국어 문장 표현에서의 언어 편향을 최소화하기 위해.

제안 방법

• 학생 모델을 원본 문장과 번역 문장에 대해 학생 모델의 출력과 교사 모델의 출력 간 평균 제곱오차를 최소화하도록 훈련시킴.
• 교사 모델이 원본 언어의 기준 임베딩을 생성하도록, 원본 문장과 번역 문장을 쌍으로 구성한 데이터를 사용함.
• XLM-RoBERTa 가중치로 학생 모델을 초기화하여 100개 언어를 지원하고 공통된 SentencePiece 토크나이저를 사용해 언어별 토크나이징 문제를 방지함.
• 지식 distillation을 적용하고, 다음 손실 함수를 통해: ||M(s_i) - M̂(s_i)||² + ||M(s_i) - M̂(t_i)||², 원본 문장과 번역 문장이 모두 교사의 출력에 가까이 매핑되도록 보장함.
• 표준 옵티마이저와 학습률 스케줄을 사용해 학생 모델을 엔드 투 엔드로 훈련시켜 한 번의 훈련으로 다수의 언어로 전이 가능하게 함.
• 훈련 과정을 분리함: 먼저 고성능 단일 언어 모델(예: SBERT)을 훈련한 후, distillation을 통해 새로운 언어로 확장함으로써 치명적인 기억 상실을 방지함.

실험 결과

연구 질문

• RQ1 기존에 다시 훈련하지 않고도 단일 언어 문장 임베딩 모델을 효과적으로 새로운 다수의 언어로 확장할 수 있는가?
• RQ2 단일 언어 교사 모델에서의 지식 distillation이 목표 언어에서 바람직한 벡터 공간 성질(예: 의미 유사도, 군집화)을 유지하는가?
• RQ3 특히 저자원 언어에서 기존의 다국어 모델(LASER, mUSE)과 비교해 성능은 어떻게 되는가?
• RQ4 다중 작업 또는 대비 목표로 훈련된 모델과 비교해 언어 편향은 어느 정도 감소하는가?
• RQ5 단일 통합 학생 모델 아키텍처로 400개 이상의 언어를 효율적으로 확장할 수 있는가?

주요 결과

• LASER보다 저자원 언어에서 최대 40점의 정확도 향상을 달성하여 강력한 전이 성능을 입증함.
• 학생 모델이 교사 모델의 벡터 공간 성질을 다양한 언어 가족에 걸쳐 성공적으로 이어받아 의미 군집화와 유사도를 유지함.
• mUSE 및 LaBSE와 같은 다중 작업 또는 대비 훈련 방법과 비교해 훈련 복잡성과 하드웨어 요구 사항을 줄임.
• 다양한 언어 쌍에서 일관된 성능을 보여 언어 조합에 치우친 모델과는 달리 언어 편향을 최소화함.
• 다양한 언어 가족에서 50개 이상의 언어로 효과적으로 일반화되며, 공개된 코드를 통해 400개 이상의 언어로의 확장이 가능함.
• XLM-RoBERTa 기반 학생 모델이 단일 언어 BERT 가중치로 초기화된 모델보다 더 나은 다국어 토크나이징과 어휘 커버리지 덕분에 성능이 뛰어남.