[논문 리뷰] Reward Optimization for Neural Machine Translation with Learned Metrics

Raphael Shu, Kang Min Yoo외 1명|arXiv (Cornell University)|2021. 04. 15.

Natural Language Processing Techniques참고 문헌 45인용 수 6

한 줄 요약

이 논문은 최신의 학습된 거리 측정 기반 BLEURT를 사용하여 신경 기계 번역(NMT)에서 보상 최적화를 위한 대비 마진 손실을 제안한다. 이는 대규모 모델을 사용할 때 빠르고 안정적인 훈련을 가능하게 한다. 결과적으로 BLEURT를 사용한 훈련은 BLEURT 점수에서 10퍼센트 이상의 상대적 향상을 이끌어내며, 인간 평가 기준의 적합성과 커버리지까지 향상시키는 것으로 나타났다. 반면, 부드럽게 조정된 BLEU를 사용한 훈련은 성능 향상이 제한적이며 종종 BLEU 점수에 악영향을 미친다.

ABSTRACT

Neural machine translation (NMT) models are conventionally trained with token-level negative log-likelihood (NLL), which does not guarantee that the generated translations will be optimized for a selected sequence-level evaluation metric. Multiple approaches are proposed to train NMT with BLEU as the reward, in order to directly improve the metric. However, it was reported that the gain in BLEU does not translate to real quality improvement, limiting the application in industry. Recently, it became clear to the community that BLEU has a low correlation with human judgment when dealing with state-of-the-art models. This leads to the emerging of model-based evaluation metrics. These new metrics are shown to have a much higher human correlation. In this paper, we investigate whether it is beneficial to optimize NMT models with the state-of-the-art model-based metric, BLEURT. We propose a contrastive-margin loss for fast and stable reward optimization suitable for large NMT models. In experiments, we perform automatic and human evaluations to compare models trained with smoothed BLEU and BLEURT to the baseline models. Results show that the reward optimization with BLEURT is able to increase the metric scores by a large margin, in contrast to limited gain when training with smoothed BLEU. The human evaluation shows that models trained with BLEURT improve adequacy and coverage of translations. Code is available via https://github.com/naver-ai/MetricMT.

연구 동기 및 목표

• 학습된 거리 측정 기반 BLEURT로 NMT 모델을 최적화할 경우, BLEU를 초월해 번역 품질에 의미 있는 향상이 이루어지는지 조사하는 것.
• 대규모 NMT 및 거리 측정 모델에서 기존의 보상 최적화 방식이 안정성 부족과 높은 메모리 소비 문제를 해결하는 것.
• 기본 모델 및 BLEU 최적화 모델 대비 BLEURT로 보상 최적화한 모델이 인간 평가 기준의 적합성, 유창성, 커버리지에서 향상되는지 평가하는 것.
• 번역 번역 순위에서 BLEU와 BLEURT 간의 괴리 원인을 분석하고, 이 차이를 이끄는 요인을 이해하는 것.

제안 방법

• 최상 및 최하위 번역 후보에 대해서만 모델 점수를 계산하는 대비 마진 손실을 제안하여 메모리 사용량을 줄이고 안정적인 훈련을 가능하게 한다.
• 상위 및 하위 번역 간의 순위 비교를 기반으로 한 이원 평가 목적 함수를 사용하여, 위험 기반 손실에서처럼 모든 N개 후보를 평가할 필요 없이도 효과적으로 작동하도록 한다.
• BLEURT를 보상 신호로 사용하여 강화 학습 기반으로 NMT 모델을 미세 조정하며, 인간 평가와 높은 상관관계를 보이는 점을 활용한다.
• NMT 모델과 함께 대비 마진 손실을 엔드 투 엔드로 훈련하며, BLEURT에 대한 합성 데이터와 WMT 거리 측정 공유 과제에서 확보한 인간 평가 점수를 활용한다.
• 자동 평가로 BLEURT와 부드러운 BLEU를 사용하고, 네 개의 언어 쌍에 걸쳐 적합성, 유창성, 커버리지에서 이원 인간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 BLEURT로 NMT 모델을 최적화할 경우, 부드러운 BLEU로 훈련한 경우와 비교해 자동 평가 및 인간 평가 지표에서 측정 가능한 향상이 이루어지는가?
• RQ2 대비 마진 손실이 대규모 NMT 및 거리 측정 모델에 대해 안정적이고 효율적인 보상 최적화를 가능하게 하는가?
• RQ3 BLEURT로 최적화한 번역 결과가 기준 모델 및 BLEU 최적화 모델 대비 적합성과 커버리지에서 얼마나 향상되는가?
• RQ4 왜 BLEURT는 번역 점수에서 BLEU와 상당한 괴리를 보이며, 이 차이를 이끄는 언어학적 요인은 무엇인가?

주요 결과

• BLEURT 기반 보상 최적화로 네 개의 언어 쌍 전반에서 BLEURT 점수가 상대적으로 10퍼센트 이상 향상되어 강력한 지표 향상이 확인되었다.
• 반면, 부드러운 BLEU로 훈련한 결과는 BLEU 점수 향상이 제한적이며, 기존 연구에서 현대 NMT 모델에 대해 BLEU가 부적절한 훈련 신호임을 확인한 바와 일치한다.
• 인간 평가 결과, BLEURT로 최적화한 모델은 번역의 적합성과 커버리지에서 뚜렷한 향상을 보였으며, De-En, Ru-En, Ja-En 쌍에서 높은 다수 투표 비율을 기록했다.
• 정성적 분석 결과, BLEURT 점수는 높지만 BLEU 점수 향상이 미미한 40개의 샘플 번역 중 25개가 더 나은 의미적 정확성, 어순 또는 커버리지로 더 의미 있는 품질 향상을 보였다.
• 본 연구는 희귀어의 영향으로 인해 BLEURT가 예상치 못한 높거나 낮은 점수를 부여할 수 있는 위험 요소를 밝혀내었으며, 이는 소량의 어휘 변경이 비록 유사한 번역 품질을 유지하더라도 점수에 큰 영향을 미치는 사례에서 명백히 드러났다.