[논문 리뷰] Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages

Kevin S. Heffernan, Onur Çelebi외 1명|arXiv (Cornell University)|2022. 05. 25.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 감독 학습과 자기 지율 학습을 융합하여, 특히 50종의 아프리카어를 포함한 저자원 언어에 특화된 교사-학생 소양화 프레임워크를 제안한다. 이 방법은 비문맥적 문장 간 미닝 및 NMT 성능을 크게 향상시키며, 490만 개의 미닝된 비문맥을 활용하여 소말리아어에서 최대 21.3 BLEU를 달성하여 원본 LASER 모델과 기존의 다국어 인코더를 능가한다.

ABSTRACT

Scaling multilingual representation learning beyond the hundred most frequent languages is challenging, in particular to cover the long tail of low-resource languages. A promising approach has been to train one-for-all multilingual models capable of cross-lingual transfer, but these models often suffer from insufficient capacity and interference between unrelated languages. Instead, we move away from this approach and focus on training multiple language (family) specific representations, but most prominently enable all languages to still be encoded in the same representational space. To achieve this, we focus on teacher-student training, allowing all encoders to be mutually compatible for bitext mining, and enabling fast learning of new languages. We introduce a new teacher-student training scheme which combines supervised and self-supervised training, allowing encoders to take advantage of monolingual training data, which is valuable in the low-resource setting. Our approach significantly outperforms the original LASER encoder. We study very low-resource languages and handle 50 African languages, many of which are not covered by any other model. For these languages, we train sentence encoders, mine bitexts, and validate the bitexts by training NMT systems.

연구 동기 및 목표

• 저자원 언어, 특히 병렬 및 단일 언어 데이터가 제한된 아프리카어를 포함한 다국어 NLP의 확장 문제를 해결하기 위해.
• 공통 임베딩 공간에서 상호 호환성이 유지되는 언어 계열별 특화 문장 인코더를 훈련시켜 저자원 언어의 비문맥 미닝 성능을 향상시키기 위해.
• 일체형 다국어 모델의 한계를 극복하기 위해, 최소한의 데이터로 새로운 언어에 효율적으로 적응할 수 있도록 교사-학생 소양화 기반의 접근법을 사용하기 위해.
• 엔드 투 엔드 NMT 훈련을 통해 미닝된 비문맥의 품질을 검증하여 번역 성능 향상의 실용적 효과를 입증하기 위해.

제안 방법

• 공동 다국어 교사 모델을 사용하여 언어 계열별로 특화된 학생 인코더를 훈련시켜, 통합된 임베딩 공간에서 언어 간 상호 호환성을 확보한다.
• 비문맥 및 단일 언어 데이터를 모두 활용하여 문장 표현을 공동 최적화하기 위해 감독 대비 학습과 마스킹 언어 모델링(MLM)을 융합한다.
• 교사 모델이 대규모 다국어 모델이고, 학생 모델이 더 작고 언어별로 특화된 인코더인 이중 인코더 설정을 사용한다.
• 학습된 학생 인코더를 활용해 마진 기반 비문맥 미닝을 수행하며, 교차 언어 유사도 검색을 위해 215억 개의 영어 문장을 활용한다.
• 유사도 검색 오류율 평가를 위해 FLORES 벤치마크를 사용하여 덜 대표적인 Tatoeba 데이터셋을 대체한다.
• 공개 비문맥과 함께 미닝된 비문맥을 결합하여 NMT 시스템을 훈련시켜, 미닝된 데이터의 품질을 BLEU 점수로 평가한다.

실험 결과

연구 질문

• RQ1 일체형 다국어 모델에 비해 교사-학생 소양화 프레임워크가 매우 저자원 언어의 비문맥 미닝 성능을 향상시킬 수 있는가?
• RQ2 감독 학습과 자기 지율 학습(MLM 포함)을 함께 적용할 경우, 저자원 환경에서 문장 표현 품질이 어떻게 향상되는가?
• RQ3 제한된 공개 비문맥과 함께 사용될 때, 저자원 언어에서 미닝된 비문맥이 하류 NMT 성능을 얼마나 향상시킬 수 있는가?
• RQ4 기존의 다국어 문장 인코더인 LASER 및 LaBSE와 비교해 본다면, 제안된 방법이 저자원 아프리카어에서 어떻게 성능을 냈는가?
• RQ5 단일 언어 데이터의 품질과 양이, 미닝된 비문맥을 기반으로 훈련된 최종 NMT 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 공개 비문맥 17만 개와 미닝된 비문맥 490만 개를 결합하여 소말리아어에서 21.3 BLEU 점수를 달성하였으며, 기준 모델 대비 16.2 BLEU 향상되었다.
• 아칸, 바밀레케, 풀라를 포함한 13종의 아프리카어에서 BLEU 점수는 5% 이하에 머물렀으며, 주로 효과적인 미닝을 위해 충분한 단일 언어 데이터가 부족하기 때문이다.
• 월로프 언어 인코더는 코사인 손실과 MLM 손실을 함께 훈련함으로써 xsim 오류율을 71.3% 감소시켰다(21.05%에서 6.03%로).
• 12개 언어에서 원본 LASER 인코더를 능가했으며, FLORES 벤치마크에서 다국어 유사도 검색을 위한 다국어 유사도 검색에서 LaBSE와 동등하거나 슈퍼어리어를 기록했다.
• 44종의 아프리카어에 대해 NMT 시스템을 훈련시킬 수 있었으며, 24개 언어 쌍의 인코더와 비문맥을 공개하여 평가를 가능하게 하였다.