[논문 리뷰] Greedy Search with Probabilistic N-gram Matching for Neural Machine Translation

Chenze Shao, Yang Feng외 1명|arXiv (Cornell University)|2018. 09. 10.

Natural Language Processing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 강화학습을 사용하지 않고도 직접 기울기 업데이트가 가능한, 확률적 n-gram 매칭(특히 GLEU) 기반의 미분 가능이고 문장 수준의 훈련 목표를 제안한다. 훈련 중에 교사 강제를 탐욕적 검색으로 대체함으로써 노출 편향을 완화하고, 중국어-영어 번역 작업에서 강력한 베이스라인 대비 1.5 BLEU 포인트 향상된 성능을 달성한다.

ABSTRACT

Neural machine translation (NMT) models are usually trained with the word-level loss using the teacher forcing algorithm, which not only evaluates the translation improperly but also suffers from exposure bias. Sequence-level training under the reinforcement framework can mitigate the problems of the word-level loss, but its performance is unstable due to the high variance of the gradient estimation. On these grounds, we present a method with a differentiable sequence-level training objective based on probabilistic n-gram matching which can avoid the reinforcement framework. In addition, this method performs greedy search in the training which uses the predicted words as context just as at inference to alleviate the problem of exposure bias. Experiment results on the NIST Chinese-to-English translation tasks show that our method significantly outperforms the reinforcement-based algorithms and achieves an improvement of 1.5 BLEU points on average over a strong baseline system.

연구 동기 및 목표

• 문자 수준의 크로스 엔트로피 손실이 번역을 탄력적으로 평가하지 못하고 노출 편향을 야기한다는 점을 해결한다.
• 강화학습 기반의 문장 수준 훈련에서의 불안정성과 높은 분산 문제를 해결하기 위해, 미분 가능한 문장 수준의 목표를 도입한다.
• 모델이 추론 중에 사용하는 것과 동일한 방식으로 훈련 중에 자신의 예측 단어를 문맥으로 사용함으로써 노출 편향을 완화한다.
• 표준 평가 지표와 강하게 상관관계가 있는 n-gram 매칭 기반의 미분 가능한 훈련 목표를 개발한다.
• 탐욕적 검색과 함께 사용할 때, 표준 크로스 엔트로피 훈련과 강화학습 기반 방법보다 우수한 성능을 달성함을 입증한다.

제안 방법

• 특히 P-GLEU(확률적 GLEU)로 정의된 확률적 버전의 GLEU를 사용하여, 확률적 n-gram 매칭 기반의 미분 가능한 문장 수준의 손실을 도입한다.
• 훈련 중에 교사 강제를 탐욕적 디코딩으로 대체하여, 모델이 참조 토큰 대신 자신의 예측 단어에 의존하도록 한다.
• n-gram 정밀도(예: 2-gram)의 미분 가능한 근사치를 사용하여 강화학습 없이 기울기 기반 최적화를 가능하게 한다.
• 새로운 목표를 사용해 무작위 초기화로부터 훈련하는 것보다 안정적인 훈련을 위해, 사전 훈련된 NMT 모델을 미세조정하는 데 확률적 손실을 적용한다.
• 생성된 n-그램과 참조 n-그램 간의 부드러운 정렬을 사용하여, 모델 출력과 참조 번역에 대한 손실을 미분 가능한 함수로 계산한다.
• 표준 백프로파게이션을 사용하여 P-GLEU 목표를 최적화함으로써, 정책 기반 기울기 추정 없이 직접 기울기 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 n-gram 매칭 기반의 미분 가능한 문장 수준의 목표가 강화학습 없이 NMT의 문장 수준 훈련에서 효과적으로 대체될 수 있는가?
• RQ2 훈련 중에 교사 강제를 탐욕적 검색으로 대체하면 노출 편향이 크게 감소하고 번역 품질이 향상되는가?
• RQ3 제안된 확률적 n-gram 매칭이 표준 자동 평가 지표(예: GLEU)와 얼마나 강하게 상관되는가?
• RQ4 제안된 방법이 문자 수준의 크로스 엔트로피 훈련과 강화학습 기반의 문장 수준 훈련보다 더 우수한 성능을 낼 수 있는가?
• RQ5 성능 향상의 원인이 새로운 손실 함수 때문인지, 아니면 디코딩 전략의 변화(탐욕적 vs. 교사 강제) 때문인가?

주요 결과

• 제안된 방법은 NIST 중국어-영어 번역 벤치마크에서 강력한 베이스라인 대비 1.5 BLEU 포인트 향상된 성능을 달성한다.
• 동일한 확률적 손실을 사용하더라도, 훈련 중에 탐욕적 검색을 사용함으로써 교사 강제 대비 약 1 BLEU 포인트의 성능 향상 기여가 있다.
• 확률적 GLEU(P-GLEU) 목표는 표준 GLEU와 강하게 상관되며 상관계수 r = 0.86를 기록하여 평가 지표의 대체 지표로의 유효성을 입증한다.
• 강화학습 기반의 문장 수준 훈련 방법은 높은 분산과 불안정한 수렴을 야기하므로, 제안된 방법이 이를 능가한다.
• 사전 훈련된 모델에 대해 미세조정 시 확률적 손실을 적용함으로써 훈련 비용을 줄이고, 새로운 목표로 초기화하여 훈련하는 데서 발생하는 불안정성을 피할 수 있다.
• 다양한 n-gram 목표(예: BLEU, GLEU, 2-gram 정밀도) 중에서 GLEU가 가장 우수한 성능를 보이며, 제안된 방법에서 우선 선택 사항으로 적합하다.