[논문 리뷰] Bitext Mining for Low-Resource Languages via Contrastive Learning

Weiting Tan, Philipp Koehn|arXiv (Cornell University)|2022. 08. 23.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 저자원 언어인 캄보디아어와 파슈토어의 비틀미닝(bitext mining)을 향상시키기 위해 대조학습을 통한 다중 음성 랭킹 손실(Multiple Negative Ranking Loss)을 활용한 문장 변환기의 미세조정을 제안한다. 이 방법은 캄보디아어와 파슈토어에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법 대비 NMT BLEU 점수를 1점 이상 향상시켰다. 이는 향상된 다국어 문장 표현을 통한 우수한 문장 정렬 및 필터링 성능을 보여준다.

ABSTRACT

Mining high-quality bitexts for low-resource languages is challenging. This paper shows that sentence representation of language models fine-tuned with multiple negatives ranking loss, a contrastive objective, helps retrieve clean bitexts. Experiments show that parallel data mined from our approach substantially outperform the previous state-of-the-art method on low resource languages Khmer and Pashto.

연구 동기 및 목표

• 병렬 데이터가 부족한 저자원 언어인 캄보디아어와 파슈토어의 비틀미닝 품질을 향상시키기 위해.
• 기존의 히ュ리스틱 또는 최적화되지 않은 문장 표현에 의존하는 문장 정렬 및 필터링 파ip라인의 한계를 해결하기 위해.
• 다국어 문장 임베딩 기반의 대조학습을 통해 유연하고 확장 가능한 문장 쌍 정렬 및 필터링 방법을 개발하기 위해.
• 저자원 언어 쌍에 대해 WMT 2020 병렬 코퍼스 필터링 과제에서 기존 최신 기술 수준 시스템을 초월하기 위해.
• 다른 언어 쌍으로의 확장과 복제를 가능하게 하는 공개 툴킷을 제공하기 위해.

제안 방법

• 다국어 문장 임베딩을 향상시키기 위해 다중 음성 랭킹(MNR) 손실을 사용해 문장-BERT(SBERT) 모델을 미세조정한다.
• 정렬된 문장 쌍에서 양성 쌍을 구성하고, 대상 쪽에서 이웃 문장(창 크기 W)과 무작위 샘플(R)을 사용해 음성 쌍을 구성한다.
• MNR 손실을 최적화하여 양성 쌍 간의 코사인 유사도를 극대화하고 음성 쌍 간의 유사도를 최소화한다.
• 미세조정된 SBERT 임베딩을 Vecalign에서의 문장 정렬 스코어 함수로, 노이즈 제거를 위한 마진 기반 필터링 메커니즘에서 사용한다.
• 필터링 중에 효율적인 k-최근접 이웃 검색을 위해 Faiss를 사용하며, 비율 기반 마진 함수를 활용해 문장 쌍을 순위 매긴다.
• ParaCrawl에서의 문서 수준 정렬 코퍼스를 사용해 모델을 훈련하고, WMT 2020 평가 프로토콜을 따르며 평가한다.

실험 결과

연구 질문

• RQ1 대조학습을 통한 문장 변환기의 미세조정은 캄보디아어와 파슈토어와 같은 저자원 언어의 비틀미닝 품질 향상에 기여할 수 있는가?
• RQ2 MNR로 미세조정된 SBERT는 문장 정렬 및 필터링 과제에서 LASER 및 기타 최신 기술 수준의 문장 표현보다 어떻게 비교되는가?
• RQ3 대조학습 목표를 사용할 경우, 노이즈가 많은 웹 크롤링 단일어 코퍼스에서 병렬 데이터를 추출할 때 더 나은 일반화 및 강건성을 달성할 수 있는가?
• RQ4 문장 표현의 선택이 저자원 환경에서의 후속 NMT 성능에 얼마나 큰 영향을 미치는가?
• RQ5 단일의 미세조정된 모델이 정렬 및 필터링 작업을 모두 효과적으로 수행할 수 있으며, 효율성과 정확도를 향상시킬 수 있는가?

주요 결과

• MNR 손실로 미세조정된 SBERT 모델은 캄보디아어에서 BLEU 점수 11.83, 파슈토어에서 10.43을 기록하여 이전 최신 기술 수준 시스템보다 1 BLEU 점 이상 높였다.
• SBERT-ALIGN와 SBERT-FILTER를 조합한 모델이 모든 방법 중에서 가장 높은 BLEU 점수를 기록하여, 미세조정된 표현이 정렬 및 필터링 모두에서 효과적임을 입증했다.
• LASER 기반 정렬 및 필터링보다 약 2 BLEU 점 향상되어 NMT 성능 향상에 있어 뚜렷한 개선을 보였다.
• HUAWEI-FILTER 방법이 필터링 기법 중에서 가장 우수했지만, SBERT 기반 정렬 및 필터링은 LASER 기반 대비 큰 격차로 앞서갔다.
• 노이즈가 많은 문장 쌍에서 정확한 쌍을 더 잘 구분할 수 있었으며, 특히 모호하거나 OOV(out-of-vocabulary) 어휘가 있는 경우에도 정확한 쌍에 대해 높은 유사도 점수, 잘못된 쌍에 대해서는 낮은 유사도 점수를 기록하여 뛰어난 성능을 보였다.
• 이 방법은 확장성이 뛰어나며 효율적이어서, 사전에 계산된 임베딩과 Faiss 기반의 최근접 이웃 검색을 통해 수백만 개의 문장 쌍에 대해 빠른 추론이 가능하다.