[논문 리뷰] Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation

Alexandra Chronopoulou, Dario Stojanovski외 1명|arXiv (Cornell University)|2022. 09. 30.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 저자원 다국어 신경 기계 번역을 위한 언어군 어댑터를 제안한다. 언어군(예: 발트스라브어, 인도이ран어 등) 간 어휘적 유사성을 기반으로 경량 어댑터를 훈련시키며, mBART-50 기반 모델은 동결된 채로 유지된다. 이 방법은 16개의 저자원 언어 쌍에서 언어쌍 어댑터 대비 +1.0 BLEU, 언어중립 어댑터 대비 +2.7 BLEU의 성능 향상을 달성하였고, 파라미터의 20% 미만을 사용하였다. 또한 언어 간 공통된 다국어 표현을 활용하여 예측되지 않은 언어로의 제로샷 번역 성능을 향상시켰다.

ABSTRACT

Large multilingual models trained with self-supervision achieve state-of-the-art results in a wide range of natural language processing tasks. Self-supervised pretrained models are often fine-tuned on parallel data from one or multiple language pairs for machine translation. Multilingual fine-tuning improves performance on low-resource languages but requires modifying the entire model and can be prohibitively expensive. Training a new adapter on each language pair or training a single adapter on all language pairs without updating the pretrained model has been proposed as a parameter-efficient alternative. However, the former does not permit any sharing between languages, while the latter shares parameters for all languages and is susceptible to negative interference. In this paper, we propose training language-family adapters on top of mBART-50 to facilitate cross-lingual transfer. Our approach outperforms related baselines, yielding higher translation scores on average when translating from English to 17 different low-resource languages. We also show that language-family adapters provide an effective method to translate to languages unseen during pretraining.

연구 동기 및 목표

• 기존 어댑터 방법을 넘어서 파라미터 효율적인 미세조정을 향상시켜 저자원 다국어 신경 기계 번역(NMT) 문제를 해결하고자 한다.
• 모든 언어에 대해 단일 공유 어댑터를 훈련시키는 대신 언어 유사성 기반으로 언어를 그룹화하여 파라미터 효율적 적응에서의 악영향을 줄이고자 한다.
• 언어군 내 공통된 다국어 표현을 활용하여 미리 훈련된 데이터에 포함되지 않은 언어로의 효과적인 제로샷 번역을 가능하게 하고자 한다.
• 언어 기반 지식 기반 그룹화가 표현 기반 클러스터링(예: GMM)보다 다국어 NMT에서 어댑터 훈련에 더 나은 성능을 내는지 평가하고자 한다.
• Transformer 아키텍처에서 어휘 수준 정보를 인코딩하기 위해 임bedding 레이어 어댑터를 삽입하는 영향을 평가하고자 한다.

제안 방법

• mBART-50 모델을 동결한 상태에서 특정 언어군(예: 인도이란어, 아스트로네시아어 등)의 병렬 단일 언어 데이터를 기반으로 언어군 어댑터를 훈련시킨다.
• 공통된 문법적 및 발음적 특성을 기반으로 언어학적 지식 기반 데이터베이스(Glottolog 등)를 사용해 언어를 그룹화한다. 이는 모델 기반 표현이 아닌 언어학적 특성에 기반한다.
• Transformer의 인코더 및 디코더 레이어에 어댑터 모듈을 삽입하며, 각 언어군 별로 별도의 어댑터를 사용하여 파라미터 효율적 미세조정을 가능하게 한다.
• 이중 단계 훈련 프로세스를 적용한다. 첫 번째 단계는 해당 언어군의 병렬 데이터를 기반으로 언어군 어댑터를 훈련시키는 것이며, 두 번째 단계는 훈련된 언어군에 대해 기존 언어와 예측되지 않은 언어 모두에서 평가하는 것이다.
• 비교를 위해 다국어 문장 표현에 대해 혼합 정규분포 모델(GMM)을 적용하여 언어를 클러스터링한다.
• 어댑터 기여도와 다양한 클러스터링 전략이 번역 성능에 미치는 영향을 평가하기 위해 분석 실험(Ablation study)를 수행한다.

실험 결과

연구 질문

• RQ1 언어 유사성 기반 언어군에 기반해 어댑터를 훈련시키는 것이 언어쌍 또는 언어중립 어댑터 대비 저자원 언어에서 번역 성능 향상에 기여하는가?
• RQ2 언어군 어댑터는 mBART-50 사전 훈련 데이터에 포함되지 않은 언어로도 효과적으로 지식을 전이할 수 있는가?
• RQ3 표현 기반 클러스터링(GMM 등)과 비교했을 때 언어학적 기반 그룹화의 번역 품질 및 내구성은 어떻게 다른가?
• RQ4 어휘 수준 정보를 인코딩하기 위해 임베딩 레이어 어댑터를 삽입하는 것이 모델 성능에 기여하는가?
• RQ5 모든 언어에 대해 단일 공유 어댑터를 사용하는 것과 비교했을 때 제안된 방법이 악영향을 얼마나 줄이는가?

주요 결과

• 언어군 어댑터는 OPUS-100의 16개 저자원 언어 쌍에서 언어쌍 어댑터 대비 +1.0 BLEU, 언어중립 어댑터 대비 +2.7 BLEU 향상을 달성하였다.
• 모든 언어군에서 두 기준 모델을 모두 초월하였으며, 아스트로네시아어 및 인도이란어 언어군에서는 +2.0 BLEU 이상의 성능 향상을 기록하였다.
• mBART-50 사전 훈련 데이터에 포함되지 않은 언어에 대해서도 언어군 어댑터가 두 기준 모델보다 뚜렷하게 뛰어난 성능을 보이며 효과적인 제로샷 번역을 입증하였다.
• 언어중립 어댑터 기준 모델은 특히 예측되지 않은 언어에서 비슷하지 않은 언어 클러스터로부터의 악영향으로 인해 두 기준 모델보다 성능이 열 劣하였다.
• 분석 실험 결과, 임베딩 레이어 어댑터 삽입이 성능 향상에 기여함을 확인하였으며, 이는 어휘 수준 정보가 저자원 번역에 유리함을 시사한다.
• 언어학적 지식 기반 그룹화가 다국어 문장 표현에 기반한 GMM 기반 클러스터링보다 일관되게 뛰어난 성능을 보였으며, 어댑터 설계에서 도메인 특화 언어학적 구조의 가치를 확인하였다.