[논문 리뷰] On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation

Changtong Zan, Liang Ding외 4명|arXiv (Cornell University)|2022. 09. 07.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 자원이 풍부한 기계 번역 환경에서 사전 훈련(PT)과 무작위 초기화(RI) 간의 상호보완성을 조사하며, RI가 도메인 내 정확도에서 뛰어나고 PT는 일반화 및 음성 다각도를 향상시킨다는 것을 밝혀냈다. 저자들은 최적 운반 이론을 활용해 PT 및 RI 모델을 정렬하고 융합하는 모델 융합 방법을 제안하여 번역 정확도, 내구성, 다각도 측면에서 WMT17 En-Zh 및 WMT19 En-De 벤치마크에서 뛰어난 성능을 달성하였다.

ABSTRACT

Pre-Training (PT) of text representations has been successfully applied to low-resource Neural Machine Translation (NMT). However, it usually fails to achieve notable gains (sometimes, even worse) on resource-rich NMT on par with its Random-Initialization (RI) counterpart. We take the first step to investigate the complementarity between PT and RI in resource-rich scenarios via two probing analyses, and find that: 1) PT improves NOT the accuracy, but the generalization by achieving flatter loss landscapes than that of RI; 2) PT improves NOT the confidence of lexical choice, but the negative diversity by assigning smoother lexical probability distributions than that of RI. Based on these insights, we propose to combine their complementarities with a model fusion algorithm that utilizes optimal transport to align neurons between PT and RI. Experiments on two resource-rich translation benchmarks, WMT'17 English-Chinese (20M) and WMT'19 English-German (36M), show that PT and RI could be nicely complementary to each other, achieving substantial improvements considering both translation accuracy, generalization, and negative diversity. Probing tools and code are released at: https://github.com/zanchangtong/PTvsRI.

연구 동기 및 목표

• 자원이 풍부한 기계 번역 환경에서 사전 훈련이 무작위 초기화보다 성능이 열 劣하는 이유를 이해하는 것.
• 최적화 경로와 어휘 확률 분포 측면에서 PT 및 RI 모델 간의 근본적 차이를 조사하는 것.
• PT 및 RI의 상호보완적 강점을 조율하여 신경 기계 번역 성능을 향상시키는 것.
• 일체의 모델에서 일반화(PT에서 유래)와 도메인 내 정확도(RI에서 유래)를 모두 활용하는 융합 방법을 개발하는 것.

제안 방법

• 2차원 시각화를 활용해 손실 표면의 평탄함을 비교하기 위해 손실 경로에 대한 探색 분석을 수행하여 PT 및 RI 모델 간의 평탄도를 분석한다.
• 엔트로피와 음성 다각도를 측정하여 PT와 RI의 스무딩 효과를 평가하기 위해 어휘 확률 분포를 분석한다.
• 최적 운반 이론을 활용해 PT 및 RI 모델 간의 뉴런과 가중치를 정렬하는 모델 융합 프레임워크를 제안한다.
• 최적 운반 거리 기반 가중치 조합을 계산하여 정렬된 모델을 융합함으로써 상호보완적 강점을 유지한다.
• 두 단계 훈련 과정을 활용한다: 먼저 단일 언어 데이터에서 mBART를 사전 훈련하고, 이후 병렬 데이터에서 미세 조정하여 PT를 수행한다; RI는 동일한 아키텍처로 처음부터 훈련한다.
• SacreBLEU, 도메인 외 평가 점수, 노이즈에 대한 내구성(DuA), 다중 기준 BLEU, 및 유형-토큰 비율(TTR)을 활용해 융합 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자원이 풍부한 환경에서 사전 훈련이 도메인 내 번역 정확도 향상에 실패하는 이유는 무엇인가?
• RQ2 PT 및 RI 모델의 최적화 경로는 어떻게 다름으로써 이들의 일반화에 어떤 영향을 미치는가?
• RQ3 사전 훈련은 어휘 확률 분포에 어떤 영향을 미치며, 이는 음성 다각도 및 모델의 내구성과 어떻게 관련되는가?
• RQ4 PT 및 RI의 상호보완적 강점은 전체 NMT 성능 향상에 효과적으로 융합될 수 있는가?

주요 결과

• RI 모델은 WMT19 En-De에서 35.0 BLEU를 기록하여 PT의 34.9 BLEU보다 도메인 내 번역 정확도에서 뛰어나, 목표 데이터에 대한 최적화에서 우월함을 보여준다.
• PT 모델은 더 평탄한 손실 경로와 더 매끄러운 어휘 확률 분포를 보이며, 이는 더 나은 도메인 외 일반화 및 내구성에 기여한다.
• 융합 모델은 도메인 외(OD) 평가에서 RI 대비 +0.2 BLEU 향상으로 일반화 능력 향상을 입증한다.
• 융합 모델은 DuA(Drop under Attack)에서 +4.4 향상되어 RI보다 입력 노이즈에 더 강건함을 보여준다.
• 융합 모델은 다중 기준 BLEU에서 +0.2 BLEU 향상 및 TTR에서 +0.1 증가를 기록하여 번역의 다각도 향상을 확인한다.
• 최적 운반 기반 정렬을 통해 융합 방법은 PT의 일반화 및 매끄러움과 RI의 도메인 내 정확도 및 자신감을 효과적으로 융합하였다.