[논문 리뷰] Should we Stop Training More Monolingual Models, and Simply Use Machine Translation Instead?

Tim Isbister, Fredrik Carlsson외 1명|arXiv (Cornell University)|2021. 04. 21.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 다국어 저자원 언어 모델을 영어로의 기계 번역 후 대규모 사전 훈련된 영어 모델에 미세조정하는 방식으로 단일 언어 저자원 언어 모델을 대체할 것을 제안한다. 최신 번역 모델과 대규모 영어 모델(예: BERT-large)을 사용하여 스칸디나비아 언어들(핀란드어를 제외하고)에서 우수하거나 유사한 성능을 달성함으로써, 번역 기반 적응 방식이 모델 훈련보다 더 실용적이고 환경적으로 효율적임을 실험적으로 입증한다.

ABSTRACT

Most work in NLP makes the assumption that it is desirable to develop solutions in the native language in question. There is consequently a strong trend towards building native language models even for low-resource languages. This paper questions this development, and explores the idea of simply translating the data into English, thereby enabling the use of pretrained, and large-scale, English language models. We demonstrate empirically that a large English language model coupled with modern machine translation outperforms native language models in most Scandinavian languages. The exception to this is Finnish, which we assume is due to inferior translation quality. Our results suggest that machine translation is a mature technology, which raises a serious counter-argument for training native language models for low-resource languages. This paper therefore strives to make a provocative but important point. As English language models are improving at an unprecedented pace, which in turn improves machine translation, it is from an empirical and environmental stand-point more effective to translate data from low-resource languages into English, than to build language models for such languages.

연구 동기 및 목표

• 저자원 언어, 특히 스칸디나비아 국가들에서 일반적으로 사용되는 단일 언어 모델 훈련 방식에 도전하기 위해.
• 기계 번역을 통해 영어로 변환한 후 대규모 영어 모델에 대해 미세조정하는 방식이 현지 언어 모델보다 우수한 성능을 낼 수 있는지 조사하기 위해.
• 모델 훈련과 번역을 통한 기존 대규모 영어 모델 활용 간의 경험적 및 환경적 성과를 평가하기 위해.
• 번역 품질과 모델 크기가 저자원 환경에서의 최종 성능에 미치는 영향을 평가하기 위해.
• 번역을 통한 영어 모델에서의 전이 학습이 원천 모델 구축보다 실용적이고 확장 가능하며 더 효율적인 대안이 될 수 있는지 판단하기 위해.

제안 방법

• 현대적이고 사전 훈련된 기계 번역 시스템을 사용하여 스칸디나비아 언어(스웨덴어, 노르웨이어, 덴마크어, 핀란드어)의 훈련 데이터를 영어로 번역한다.
• 번역된 데이터를 기반으로 대규모 사전 훈련된 영어 언어 모델(예: BERT-base 및 BERT-large)을 감성 분류 작업에 대해 미세조정한다.
• 각 스칸디나비아 언어에서 직접 훈련된 단일 언어 모델과 번역된 데이터를 사용한 모델의 성능을 비교한다.
• 다국어 데이터 기반으로 대규모 다국어 데이터를 사용해 사전 훈련한 XLM-RoBERTa-large를 다국어 기반 기준 모델로 사용하여 전이 학습 성능을 평가한다.
• 표준 자연어 처리 메트릭(예: 정확도)을 사용해 각 언어의 보류된 테스트 세트에서 모든 모델의 성능을 평가한다.
• 특히 문법적 유사성과 번역 품질의 영향을 중심으로 언어 간 성능 차이를 분석한다.

실험 결과

연구 질문

• RQ1 저자원 언어 데이터를 영어로 번역하고 대규모 사전 훈련된 영어 모델을 사용하는 방식이 현지 언어에서 훈련된 단일 언어 모델보다 성능이 뛰어나게 되는가?
• RQ2 번역된 데이터를 기반으로 미세조정한 영어 모델의 성능가, 스칸디나비아 언어 전반에서 현지 단일 언어 모델과 비교해 어떻게 되는가?
• RQ3 기계 번역 품질이 번역 기반 접근 방식의 성공에 어떤 역할을 하는가? 특히 문법적으로 다를 수 있는 언어인 핀란드어의 경우에 대해.
• RQ4 번역된 데이터를 사용할 때, 대상 영어 모델의 사전 훈련 데이터 크기가 최종 성능에 상당한 영향을 미치는가?
• RQ5 환경적 및 경험적 측면에서 번역-영어 접근 방식이 현지 모델 훈련보다 더 효과적인 상황는 어떤 경우인가?

주요 결과

• 번역된 데이터를 기반으로 미세조정한 대규모 영어 BERT-large 모델은 스웨덴어, 노르웨이어, 덴마크어에서 각각 97.16%, 96.56%, 97.48%의 정확도를 기록하여 모든 현지 단일 언어 모델을 초월했다.
• 핀란드어의 경우, 현지 BERT 모델이 95.72%의 정확도를 기록하여 최고의 번역된 영어 모델(94.84%)을 앞서며, 문법적으로 다를 수 있는 언어에서 번역 품질의 한계가 드러났다.
• BERT-base 모델은 번역된 스웨덴어 데이터에서 95.76%의 정확도를 기록했고, 동일한 테스트 세트에서 현지 스웨덴어 BERT 모델의 96.76%보다 1.00%포인트 떨어졌다.
• XLM-RoBERTa-large는 2950억 토큰에 이르는 다국어 데이터 기반으로 사전 훈련되어 모든 언어에서 최고 성능을 기록했으며, 핀란드어를 제외한 모든 언어에서 최고 성능을 기록했다. 특히 덴마크어의 최고 결과는 번역된 데이터에서 도출되었다.
• 번역 품질이 핵심적 한계 요소였다: BERT-large 모델이 번역된 핀란드어 데이터에서 성능이 떨어지는 것은 낮은 품질의 번역과 관련이 있었으며, 이는 번역 품질이 최종 모델 성능에 직접적인 영향을 미친다는 것을 시사한다.
• 이 방법은 번역 품질이 높고 전이 효과가 강한 문법적으로 유사한 언어(예: 스칸디나비아 언어와 영어)에 대해 가장 효과적이다.