[논문 리뷰] Minimum Risk Training for Neural Machine Translation

Shiqi Shen, Yong Cheng외 5명|arXiv (Cornell University)|2015. 12. 08.

Natural Language Processing Techniques참고 문헌 24인용 수 43

한 줄 요약

이 논문은 최소 위험 훈련(MRT)을 제안하며, 최대우도추정(MLE) 대신 임의의 비미분가능한 평가 지표(예: BLEU)에 대해 직접 모델 파라미터를 최적화함으로써 엔드 투 엔드 신경 기계 번역을 위한 훈련 방법을 제안한다. 후보 번역의 분포에 대한 기대 손실을 최소화함으로써 MLE에 비해 상당한 향상을 이룩하며, 특히 중국어-영어와 같은 거리가 먼 언어 쌍에서 2.1 BLEU 포인트의 향상을 기록한다.

ABSTRACT

We propose minimum risk training for end-to-end neural machine translation. Unlike conventional maximum likelihood estimation, minimum risk training is capable of optimizing model parameters directly with respect to arbitrary evaluation metrics, which are not necessarily differentiable. Experiments show that our approach achieves significant improvements over maximum likelihood estimation on a state-of-the-art neural machine translation system across various languages pairs. Transparent to architectures, our approach can be applied to more neural networks and potentially benefit more NLP tasks.

연구 동기 및 목표

• 최대우도추정(MLE)의 한계를 해결하기 위해, 문장 수준 평가 지표가 아닌 단어 수준의 우도를 최적화하는 NMT의 문제를 다루기 위함.
• BLEU, ROUGE, METEOR와 같은 임의의 비미분가능한 평가 지표에 대해 신경 기계 번역 모델을 직접 최적화할 수 있도록 하기 위함.
• 어떤 엔드 투 엔드 NMT 시스템에도 적용 가능한 아키텍처에 관계없는 훈련 프레임워크를 개발하기 위함.
• 1-best 가설에 의존하는 대신 후보 번역의 분포에 대한 기대 위험을 최소화함으로써 번역 품질을 향상시키기 위함.

제안 방법

• 각 소스 문장에 대해 후보 번역의 전체 검색 공간에 대한 기대 손실(위험)을 최소화하는 최소 위험 훈련 목표를 제안한다.
• 모델의 출력 분포에 대한 기대 손실을 근사하기 위해 몬테카를로 샘플링을 사용하며, 이는 효율적인 기울기 추정을 가능하게 한다.
• 비미분가능한 지표를 다루기 위해 온도 파rameter α를 사용한 부드러운 오차 계수를 적용하여 손실 함수를 통해 역전파가 가능하게 한다.
• 평가 지표가 비미분가능하더라도 모델 파라미터에 대한 기대 손실의 기울기를 계산하기 위해 재구성 기법을 도입한다.
• 다양한 번역을 샘플링하고 기대 위험을 계산하기 위해 소프트 정책을 활용하여 일반화 성능 향상과 인간 기준 번역과의 일치도 향상.
• 특정 모델 구조나 구성 요소를 가정하지 않기 때문에 어떤 NMT 아키텍처와도 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 최소 위험 훈련(MRT)이 BLEU와 같은 문장 수준 평가 지표를 직접 최적화함으로써 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 다양한 언어 쌍에서 MLE 대비 BLEU 점수 향상 측면에서 MRT는 어떻게 비교되는가?
• RQ3 MRT는 중국어-영어와 같이 거리가 먼 언어 쌍에서 영어-프랑스어와 같이 거리가 가까운 언어 쌍보다 더 큰 성과 향상을 이끌어내는가?
• RQ4 MRT는 아키텍처 수정 없이 다양한 NMT 아키텍처에 효과적으로 적용될 수 있는가?
• RQ5 리스크 추정에 다수의 후보 번역을 사용하는 것이 REINFORCE와 같은 단일 샘플 방법에 비해 성능 향상에 기여하는가?

주요 결과

• MRT는 중국어-영어 번역에서 MLE 대비 2.1 BLEU 포인트 향상하여 거리가 먼 언어 쌍에서 상당한 성과 향상을 입증한다.
• 영어-프랑스어 번역에서는 MRT가 MLE 대비 BLEU 점수를 0.7 포인트 향상시켰으며, 중국어-영어에 비해 일관되지만 더 작은 향상 폭을 보였다.
• 영어-독일어 번역에서는 이전 연구보다 얕은 네트워크를 사용했음에도 불구하고 최신 기술 수준의 시스템과 유사한 성능을 달성했다.
• 중국어-영어에서 성과 향상 폭이 더 큰 것은 문장당 네 개의 기준 번역이 존재하여 지표 기반 최적화의 효과가 더 높아졌기 때문이다.
• 모든 평가된 언어 쌍에서 MLE를 초월하는 성능을 기록하여 평가 지표를 직접 최적화함으로써 번역 품질 향상이 가능함을 확인했다.
• 이 방법은 효과적이며 일반화 가능하며, ROUGE 지표를 사용한 헤드라인 생성으로도 성공적으로 확장되어 상당한 향상을 이룩했다.