[논문 리뷰] Breaking the Beam Search Curse: A Study of (Re-)Scoring Methods and Stopping Criteria for Neural Machine Translation

Yilin Yang, Liang Huang외 1명|arXiv (Cornell University)|2018. 08. 28.

Natural Language Processing Techniques참고 문헌 18인용 수 14

한 줄 요약

이 논문은 신경 기계 번역에서 빔 서치의 악몽의 근본 원인을 규명한다—비트 크기 증가로 인해 길이 비율 왜곡으로 인해 번역이 짧아지기 때문이다—그리고 하이퍼파rameter가 필요 없는 재평가 방법, 즉 BP-Norm와 예측된 길이에 기반한 경계된 단어 보상 등을 제안하며, 길이 정규화 대비 BLEU 점수를 +2.0 향상시킨다. 또한 최적의 정지 기준을 도입하여 성능을 +0.9 BLEU 향상시키며, 중국어-영어 번역에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Beam search is widely used in neural machine translation, and usually improves translation quality compared to greedy search. It has been widely observed that, however, beam sizes larger than 5 hurt translation quality. We explain why this happens, and propose several methods to address this problem. Furthermore, we discuss the optimal stopping criteria for these methods. Results show that our hyperparameter-free methods outperform the widely-used hyperparameter-free heuristic of length normalization by +2.0 BLEU, and achieve the best results among all methods on Chinese-to-English translation.

연구 동기 및 목표

• 비트 크기를 늘릴수록 더 큰 탐색 능력을 지니고도 번역 품질이 악화되는 빔 서치 악몽의 근본 원인을 설명하는 것.
• 더 큰 비트 크기에서 발생하는 짧은 번역 문제를 공식화하고 기존 재평가 방법을 개선하는 것.
• 개발 집합에서의 튜닝이 필요 없이 길이 정규화를 능가하는 하이퍼파rameter가 없는 재평가 기법을 개발하는 것.
• 생성 길이를 동적으로 제어함으로써 빔 서치 성능을 향상시키는 최적의 정지 기준을 조사하는 것.
• 특히 중국어-영어 번역에서 저자원 및 장문 번역 작업에 대해 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 비트 크기 증가로 인한 길이 비율 왜곡을 해결하기 위해, 생성된 길이와 기준 길이의 비율에서 유도된 비트리프니스 페널티를 사용하여 모델 점수를 정규화하는 BP-Norm이라는 재평가 방법을 제안하며, 하이퍼파rameter가 필요하지 않다.
• 각 생성 단어에 고정된 보상을 적용하는 경계된 단어 보상이라는 재평가 메커니즘을 도입하며, 이 보상의 상한선은 예측된 시퀀스 길이에 의해 결정되어 과다 생성을 방지한다.
• 추론 중에 타겟 시퀀스 길이를 예측하는 모델을 활용하여, 빔 서치의 상한선을 설정하고 경계된 단어 보상 메커니즘을 안내한다.
• 기대 길이에 도달했을 때 빔 서치를 동적으로 정지시키는 최적의 정지 기준을 도입하여, 길이 비율 제어와 번역 품질 향상에 기여한다.
• 길이 예측과 재평가를 융합한 하이브리드 접근 방식을 사용하여, 다양한 비트 크기에서 높은 BLEU 점수를 유지한다.
• 모든 방법을 표준 NMT 학습 및 추론 파이프라인을 사용하여 평가하며, 재평가 및 정지 규칙을 통한 빔 서치 개선을 수행한다.

실험 결과

연구 질문

• RQ1 비트 크기를 5를 초과해 늘일수록 더 큰 탐색 능력을 지니고도 번역 품질이 악화되는 이유는 무엇인가? (신경 기계 번역에서)
• RQ2 하이퍼파rameter가 필요 없으면서도 길이 정규화를 능가하는 BLEU 점수를 달성할 수 있는 재평가 방법은 어떻게 설계할 수 있는가?
• RQ3 최적의 정지 기준은 빔 서치 성능에 어떤 영향을 미치며, 특히 번역 길이 제어와 BLEU 향상에 기여하는가?
• RQ4 예측된 시퀀스 길이가 다양한 입력 길이에서 빔 서치의 강건성과 품질을 향상시키는 데 기여하는가?
• RQ5 다양한 재평가 전략은 장단점이 있는가? 특히 BLEU 점수, 길이 비율, 장단문 시퀀스 간 일반화 능력 측면에서 비교해보면 어떻게 되는가?

주요 결과

• 빔 서치 악몽의 주요 원인은 데이터 불확실성이나 복사 문제 때문이 아니라, 비트 크기 증가로 인한 길이 비율 왜곡으로 인해 번역이 짧아지는 데 있다.
• 제안된 하이퍼파rameter가 없는 방법인 BP-Norm은 중국어-영어 번역에서 널리 사용되는 길이 정규화 기준 대비 BLEU 점수를 +2.0 향상시킨다.
• 최적의 정지 기준만으로도 길이 정규화의 성능을 +0.9 BLEU 향상시키며, 그 영향력이 뚜렷하다는 것을 입증한다.
• 최적의 정지 기준과 길이 예측을 결합한 경계된 단어 보상 방법은 큰 비트 크기(b=39–41)에서 테스트 세트에서 최고의 BLEU 점수 40.14를 기록한다.
• BP-Norm 방법은 하이퍼파ram터 튜닝 없이도 더 복잡한 방법들인 경계된 적응형 보상 및 r=1.4인 경계된 단어 보상과 유사한 성능을 달성한다.
• 모든 제안된 방법은 특히 더 긴 입력 시퀀스에서 일반적으로 NMT 시스템이 어려움을 겪는 경우에도 길이 비율을 1.0 근처로 유지한다.