[논문 리뷰] Bridging the Gap between Training and Inference for Neural Machine Translation

Wen Zhang, Yang Feng외 3명|arXiv (Cornell University)|2019. 06. 06.

Natural Language Processing Techniques참고 문헌 17인용 수 30

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 학습과 추론 간 격차를 해소하기 위해 실제 문장과 모델 예측 문장에서 문맥 단어를 샘플링하는 훈련 기법인 오버코랙션 복구(OR-NMT)를 제안한다. 문장 수준의 오라클 선택과 점진적 커리큘럼 학습을 통해 노출 편향과 과잉 수정을 줄여, 강력한 기준 모델 대비 Zh→En 작업에서 +2.18 BLEU, En→De 작업에서 +1.31 BLEU 향상을 달성한다.

ABSTRACT

Neural Machine Translation (NMT) generates target words sequentially in the way of predicting the next word conditioned on the context words. At training time, it predicts with the ground truth words as context while at inference it has to generate the entire sequence from scratch. This discrepancy of the fed context leads to error accumulation among the way. Furthermore, word-level training requires strict matching between the generated sequence and the ground truth sequence which leads to overcorrection over different but reasonable translations. In this paper, we address these issues by sampling context words not only from the ground truth sequence but also from the predicted sequence by the model during training, where the predicted sequence is selected with a sentence-level optimum. Experiment results on Chinese->English and WMT'14 English->German translation tasks demonstrate that our approach can achieve significant improvements on multiple datasets.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 학습(골드 표준 문맥 사용)과 추론(모델이 생성한 문맥 사용) 간의 괴리 문제를 해결하기 위해.
• 모델 예측이 서로 다른 문맥 분포로 인해 편향되면서 누적되는 오류를 완화하기 위해.
• 모델이 참조 문장으로 되돌아오지 않고도 대체로 타당한 번역을 처리할 수 있도록 과잉 수정 복구 능력을 향상시키기 위해.
• 어휘 수준의 정확한 일치에 의존하는 것에서 벗어나, 긴 복잡한 문장에 대해 모델의 강인성을 높이기 위해.
• RNN 기반 및 Transformer 모델을 포함한 다양한 아키텍처에서의 효과를 입증하기 위해.

제안 방법

• 훈련 중에 실제 문장과 예측 문장에서 문맥 단어를 샘플링하며, 점진적으로 예측 단어에 의존도를 높이는 커리큘럼 학습 스케줄을 적용한다.
• 오라클 단어는 어휘 수준의 그리디 검색이 아닌 문장 수준 최적화(예: BLEU)를 통해 선택되어, 과잉 수정에서의 회복 능력 향상이 가능하다.
• 감쇠된 샘플링 전략을 통해 훈련 초반에는 골드 단어 비중을 높이고 점차 예측 단어 비중을 늘려 추론 조건을 시뮬레이션한다.
• 오라클 선택 과정에서 Gumbel-Softmax 노이즈를 적용하여 과적합을 방지하고 훈련 중 일반화 능력을 향상시킨다.
• RNNsearch 및 Transformer 모델 모두에 적용되었으며, 다양한 작업에서 일관된 성능 향상이 관찰되었다.
• 훈련 목표는 교차 엔트로피 손실과 동적 문맥 샘플링 메커니즘을 조합하여 감독 학습과 자기 일관성 간 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 훈련 중에 실제 문장과 예측 문장에서 문맥을 샘플링함으로써 학습과 추론 간 분포의 이질성을 줄일 수 있는가?
• RQ2 어휘 수준의 선택보다 문장 수준의 오라클 선택이 과잉 수정 복구 능력 향상에 더 효과적인가?
• RQ3 제안된 방법이 장문 및 복잡한 문장에서 노출 편향을 어느 정도 줄이고 성능 향상을 이끌 수 있는가?
• RQ4 RNN 기반 및 Transformer 모델과 같은 다양한 NMT 아키텍처에서 이 방법의 성능은 어떠한가?
• RQ5 저자원 및 장문 번역 작업을 포함한 다양한 언어 쌍에서 일관된 성능 향상이 달성되는가?

주요 결과

• 제안된 OR-NMT 방법은 Zh→En MT03 테스트 세트에서 RNNsearch 모델을 +2.18 BLEU 향상시켜 노출 편향 완화 효과가 뚜렷하게 나타났다.
• WMT’14 En→De 번역 작업에서 OR-NMT는 RNNsearch 기준 모델을 +1.59 BLEU 향상시키고, Transformer base 모델을 +1.31 BLEU 향상시켰으며, 통계적으로 유의미한 성과 향상(α<0.01)을 보였다.
• 장문에서 가장 큰 성능 향상이 발생했으며, 특히 소스 길이 범위 (10,20], (40,50], (70,80]에서 과잉 수정 문제가 가장 심각한 경우에 두드러진 개선이 관찰되었다.
• 문장 수준의 오라클 선택은 어휘 수준의 선택보다 성능이 뛰어나며, 높은 수준의 평가 기준이 대체 번역에서의 회복 능력을 향상시킨다는 것을 보여준다.
• 오라클 샘플링 시 Gumbel 노이즈를 사용함으로써 과적합이 방지되고 수렴이 향상되었으며, 최적의 성능은 τ=0.5에서 달성되었다.
• 기준 모델 대비 18,391개의 참조 단어 중 28,266개의 참조 단어에서 제안 모델이 더 높은 예측 확률을 기록하여, 골드 레퍼런스와의 일치도 향상과 함께 노출 편향 감소를 확인했다.