[논문 리뷰] Language Models are Good Translators

Shuo Wang, Zhaopeng Tu외 4명|arXiv (Cornell University)|2021. 06. 25.

Topic Modeling참고 문헌 28인용 수 9

한 줄 요약

이 논문은 통합된 표현을 통해 원천 문장과 목표 문장을 함께 모델링함으로써 경쟁적인 기계 번역 성능을 달성하는 단일 언어 모델인 Lm4Mt를 제안한다. 원천 측면에서 감쇠하는 자동에코 손실을 도입함으로써 Lm4Mt는 제로샷 및 피벗 기반 번역에서 표준 인코더-디코더 NMT 모델을 능가하며, 더 뛰어난 다국어 지식 전이 능력과 강건성을 입증한다.

ABSTRACT

Recent years have witnessed the rapid advance in neural machine translation (NMT), the core of which lies in the encoder-decoder architecture. Inspired by the recent progress of large-scale pre-trained language models on machine translation in a limited scenario, we firstly demonstrate that a single language model (LM4MT) can achieve comparable performance with strong encoder-decoder NMT models on standard machine translation benchmarks, using the same training data and similar amount of model parameters. LM4MT can also easily utilize source-side texts as additional supervision. Though modeling the source- and target-language texts with the same mechanism, LM4MT can provide unified representations for both source and target sentences, which can better transfer knowledge across languages. Extensive experiments on pivot-based and zero-shot translation tasks show that LM4MT can outperform the encoder-decoder NMT model by a large margin.

연구 동기 및 목표

• 단일 언어 모델이 유사한 모델 크기로 표준 인코더-디코더 신경 기계 번역(NMT) 모델과 경쟁하는 성능을 달성할 수 있는지 조사하기 위해.
• 원천 측면의 자동에코 감독이 다국어 표현 학습 및 번역 품질에 미치는 영향을 탐구하기 위해.
• 통합된 문장 표현이 제로샷 및 피벗 기반 번역 성능 향상에 기여하는지 평가하기 위해.
• 별도의 인코더 및 디코더 구성 요소 없이도 유사한 모델 크기로 강력한 성능을 유지할 수 있는지 확인하기 위해.

제안 방법

• Lm4Mt는 동일한 아키텍처와 파라미터를 사용하여 원천 문장과 목표 문장을 모두 생성하는 단일 순차적 언어 모델을 사용한다.
• 원천 언어 문장을 재구성하기 위해 감쇠하는 자동에코 손실 $\mathcal{L}^{\mathrm{\textsc{AE}}}$ 를 도입하여 입력 텍스트 이해도를 향상시킨다.
• 번역을 위한 $\mathcal{L}^{\mathrm{\textsc{MT}}}$ 와 원천 재구성에 대한 $\mathcal{L}^{\mathrm{\textsc{AE}}}$ 를 조합한 목적함수로 모델을 훈련시킨다.
• 훈련 스케줄링에서 자동에코 손실에 감쇠 가중치를 적용하여 훈련 중에 영향력을 점차 감소시킨다.
• 통합된 표현 공간은 특히 미리 보지 못한 번역 방향에서 더 나은 다국어 지식 전이를 가능하게 한다.
• 표준 벤치마크(예: WMT14 영어–독어 및 영어–프랑스어)에서 성능 평가와 손실 구성 요소에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 유사한 모델 크기로 단일 언어 모델이 표준 인코더-디코더 NMT 모델과 경쟁하는 성능을 달성할 수 있는가?
• RQ2 원천 측면의 자동에코 감독이 번역 품질과 강건성에 어떻게 기여하는가?
• RQ3 다국어 간 통합 표현이 제로샷 및 피벗 기반 번역 성능 향상에 기여하는가?
• RQ4 자동에코 손실이 다국어 번역에서 제로샷 일반화에 기여하는 정도는 어떠한가?

주요 결과

• WMT14 영어–독어 번역에서 Lm4Mt-Base는 29.3 BLEU를 기록하여 제로샷 번역에서 기준 모델인 Transformer-Base(24.4 BLEU)를 능가했다.
• 영어–프랑스어 번역에서 Lm4Mt-Base는 42.9 BLEU를 기록하여 표준 벤치마크에서 강력한 기준 모델과 비교해도 뒤지지 않았다.
• 제로샷 번역에서 Lm4Mt-Big는 De→Fr 방향에서 29.5 BLEU를 기록하여 Transformer-Big의 26.1 BLEU를 상회하며 뚜렷한 성능 향상을 보였다.
• 자동에코 손실 $\mathcal{L}^{\mathrm{\textsc{AE}}}$ 를 포함함으로써 일부 방향에서 제로샷 성능이 10 이상 BLEU 포인트 향상되었으며, 예를 들어 En→De에서 24.9 대비 7.9로 나타났다.
• Lm4Mt는 비정상 번역 오류를 줄였으며, 제로샷 En→Fr에서 18.6%의 출력이 목표 언어를 정확히 식별했고, 기준 모델의 경우 8.6%에 그쳤다.
• 두 모델이 모두 정확한 언어를 출력하는 경우에도 Lm4Mt는 더 높은 BLEU 점수(En→De에서 24.9 대비 25.9)를 기록하여 번역 품질이 뛰어나다는 것을 보여주었다.