[논문 리뷰] Dual Skew Divergence Loss for Neural Machine Translation

Fengshun Xiao, Yingting Wu외 3명|arXiv (Cornell University)|2018. 09. 27.

Natural Language Processing Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 신경 기계 번역을 위한 확장된 훈련 목표인 더블 스케우 디버전스(Dual Skew Divergence, DSD) 손실을 제안한다. 이는 오차 회피와 강건성 간의 균형을 통해 일반화 능력을 향상시키고 국소 최적점에 갇히는 것을 방지한다. WMT 2014 영어-독일어 및 영어-프랑스어 벤치마크에서의 실험 결과, DSD는 최대우도 추정과 기준 손실 함수에 비해 더 뛰어난 번역 성능을 보였다.

ABSTRACT

For neural sequence model training, maximum likelihood (ML) has been commonly adopted to optimize model parameters with respect to the corresponding objective. However, in the case of sequence prediction tasks like neural machine translation (NMT), training with the ML-based cross entropy loss would often lead to models that overgeneralize and plunge into local optima. In this paper, we propose an extended loss function called dual skew divergence (DSD), which aims to give a better tradeoff between generalization ability and error avoidance during NMT training. Our empirical study indicates that switching to DSD loss after the convergence of ML training helps the model skip the local optimum and stimulates a stable performance improvement. The evaluations on WMT 2014 English-German and English-French translation tasks demonstrate that the proposed loss indeed helps bring about better translation performance than several baselines.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 최대우도(ML) 훈련의 한계를 해결하기 위해, 이는 종종 과도한 일반화와 열악한 국소 최적점으로 수렴하게 한다.
• NMT 훈련 중 모델의 일반화 능력과 오차 회피 능력 간의 균형을 더 잘 맞추는 손실 함수를 개발하기 위해.
• 초기 ML 수렴 이후에 부분적으로 최적해를 벗어나도록 하여 번역 성능을 향상시키기 위해.

제안 방법

• 모델 예측을 참조 출력과 더 잘 일치시키기 위해 두 개의 스케우 디버전스를 조합한 확장된 손실 함수인 더블 스케우 디버전스(DSD)를 제안한다.
• 모델이 최대우도 훈련에서 수렴한 후 DSD 손실을 적용하여 파라미터를 보정하고 국소 최적점에서 벗어나게 한다.
• 과신뢰와 과소신뢰 예측에 모두 페널티를 주는 스케우 디버전스 측정법을 사용하여 강건성을 향상시킨다.
• 표준 ML 훈련 이후 DSD를 미세조정 목표로 통합하여, 분포 불일치를 보정할 수 있는 능력을 활용한다.
• 표준 NMT 아키텍처와 훈련 파이프라인과 호환되며, 미분 가능하도록 손실 함수를 설계한다.

실험 결과

연구 질문

• RQ1 수정된 손실 함수가 NMT에서 표준 최대우도 훈련을 초월해 번역 성능을 향상시킬 수 있는가?
• RQ2 더블 스케우 디버전스(DSD)가 훈련 중에 모델이 국소 최적점에서 벗어나는데 효과적인가?
• RQ3 표준 NMT 벤치마크에서 DSD는 일반화 능력과 강건성 측면에서 기준 손실 함수와 비교해 어떻게 성능을 내는가?

주요 결과

• ML 수렴 후 DSD 손실로 전환하면 영어-독일어 및 영어-프랑스어 번역 작업 모두에서 안정적인 성능 향상이 이루어진다.
• 제안된 DSD 손실은 WMT 2014 벤치마크에서 최대우도 및 기타 기준 손실 함수보다 더 뛰어난 번역 성능을 달성한다.
• DSD는 과도한 일반화를 효과적으로 완화하고, 훈련 중에 열악한 국소 최적점으로의 수렴을 방지하는 데 기여한다.
• 실험 결과는 DSD가 오차 회피 능력과 일반화 능력 간의 균형을 맞춤으로써 모델의 강건성을 향상시킨다는 것을 확인한다.