[논문 리뷰] Language-agnostic BERT Sentence Embedding

Fangxiaoyu Feng, Yinfei Yang외 3명|arXiv (Cornell University)|2020. 07. 03.

Topic Modeling인용 수 195

한 줄 요약

LaBSE는 사전 학습된 언어 모델과 듀얼 인코더를 기반으로 한 다국어 문장 임베딩 모델을 도입하여 109개 이상의 언어에 걸친 다국어 간 검색에서 최첨단 성능을 달성하고, 이진 텍스트 마이닝에서 강력한 성능과 이전 대비 경쟁력 있는 전이 결과를 보인다.

ABSTRACT

While BERT is an effective method for learning monolingual sentence embeddings for semantic similarity and embedding based transfer learning (Reimers and Gurevych, 2019), BERT based cross-lingual sentence embeddings have yet to be explored. We systematically investigate methods for learning multilingual sentence embeddings by combining the best methods for learning monolingual and cross-lingual representations including: masked language modeling (MLM), translation language modeling (TLM) (Conneau and Lample, 2019), dual encoder translation ranking (Guo et al., 2018), and additive margin softmax (Yang et al., 2019a). We show that introducing a pre-trained multilingual language model dramatically reduces the amount of parallel training data required to achieve good performance by 80%. Composing the best of these methods produces a model that achieves 83.7% bi-text retrieval accuracy over 112 languages on Tatoeba, well above the 65.5% achieved by Artetxe and Schwenk (2019b), while still performing competitively on monolingual transfer learning benchmarks (Conneau and Kiela, 2018). Parallel data mined from CommonCrawl using our best model is shown to train competitive NMT models for en-zh and en-de. We publicly release our best multilingual sentence embedding model for 109+ languages at https://tfhub.dev/google/LaBSE.

연구 동기 및 목표

• 클러스터링, 검색 및 다운스트림 전이 작업을 위한 다국어 문장 임베딩의 필요성을 동기화한다.
• 크로스링구얼 번역 순위를 위한 사전 학습된 언어 모델과 듀얼 인코더 훈련의 결합을 조사한다.
• 다국어 임베딩에 대한 사전 학습, 음수 샘플링, 어휘 선택, 데이터 품질 및 데이터 양의 영향을 평가한다.
• 109+ languages로의 확장성과 광범위 활용을 위한 모델의 공개 배포를 시연한다.

제안 방법

• 문장을 공통 임베딩 공간으로 매핑하기 위해 공유 BERT 기반 인코더를 사용하는 듀얼 인코더 아키텍처를 활용한다.
• monolingual 및 bilingual 데이터에서 MLM(Masked Language Modeling) 및 TLM(Translation Language Modeling)으로 사전 학습한다.
• 임베딩 공간에서 번역의 정렬을 촉진하기 위해 additive margin softmax를 포함한 번역 순위 손실로 미세 조정한다.
• 대규모 배치 크기로 학습을 확장하기 위해 배치 내 음수 샘플링과 교차 가속기 음수 샘플링을 사용한다.
• 퍼포먼스에 대한 영향 연구를 위해 공개 mBERT 어휘와 맞춤 어휘를 실험한다.
• LaBSE 임베딩을 사용하여 CommonCrawl에서 병렬 데이터를 발굴하고 이를 NMT 학습의 다운스트림 데이터 유용성의 예시로 제시한다.

실험 결과

연구 질문

• RQ1 사전 학습된 MLM/TLM으로 대규모 다국어 인코더가 언어별 튜닝 없이도 다수의 언어에서 고품질 문장 임베딩을 생성할 수 있는가?
• RQ2 additive margin softmax와 사전 학습이 크로스링구얼 검색 및 마이닝 작업에 미치는 영향은 무엇인가?
• RQ3 다양한 언어 집합에 걸친 이전의 최첨단 모델과 비교했을 때 LaBSE가 이진 텍스트 검색 및 병렬 텍스트 마이닝에서 어떤 성능을 보이는가?
• RQ4 하나의 모델이 109+개 언어를 얼마나 잘 커버하면서도 강력한 다운스트림 전이 성능을 제공할 수 있는가?
• RQ5 어휘 선택과 데이터 양이 다국어 임베딩 품질에 미치는 영향은 무엇인가?

주요 결과

• LaBSE는 다수의 작업 및 언어에서 이진 텍스트 검색 및 병렬 텍스트 마이닝에 대해 최첨단 성능을 달성한다.
• additive margin softmax는 구성을 넘어서는 모든 설정에서 다국어 임베딩 성능을 크게 향상시킨다.
• 사전 학습은 필요한 병렬 데이터 양을 크게 감소시키고(최대 80% 감소) 성능을 향상시킨다.
• LaBSE는 저자원 언어 및 명시적 학습 데이터가 없는 언어에서도 강력한 결과를 제공하며, LASER 및 m-USE와 같은 이전 다국어 모델보다 여러 설정에서 우수하다.
• 다운스트림 전이(SentEval)에서 LaBSE는 영어 중심 및 다국어 기준선과 경쟁력을 유지하며 광범위한 언어 커버리지를 보인다.
• 모델은 109+개 언어에 대해 공개 배포되었으며, 실험에서 NMT( en-zh, en-de )의 병렬 데이터 마이닝에 활용 가능한 것으로 나타났다.