[논문 리뷰] Human-Paraphrased References Improve Neural Machine Translation

Markus Freitag, George Foster외 2명|arXiv (Cornell University)|2020. 10. 20.

Natural Language Processing Techniques참고 문헌 42인용 수 11

한 줄 요약

이 논문은 신경 기계 번역(NMT) 시스템의 훈련 및 튜닝에 표준 참조 대신 인간이 재진술한 참조를 사용할 것을 제안한다. 비슷한 참조 기반 BLEU(BLEU-P)를 최적화함으로써, 표준 참조 기반 BLEU에서 5 BLEU 포인트 감소에도 불구하고 인간 평가에서 유의미하게 높은 유창성과 적절성 향상을 달성하였다. 이는 인간 평가의 보다 우수한 대체 지표로서 재진술된 참조가 더 나은 성능을 보임을 시사한다.

ABSTRACT

Automatic evaluation comparing candidate translations to human-generated paraphrases of reference translations has recently been proposed by Freitag et al. When used in place of original references, the paraphrased versions produce metric scores that correlate better with human judgment. This effect holds for a variety of different automatic metrics, and tends to favor natural formulations over more literal (translationese) ones. In this paper we compare the results of performing end-to-end system development using standard and paraphrased references. With state-of-the-art English-German NMT components, we show that tuning to paraphrased references produces a system that is significantly better according to human judgment, but 5 BLEU points worse when tested on standard references. Our work confirms the finding that paraphrased references yield metric scores that correlate better with human judgment, and demonstrates for the first time that using these scores for system development can lead to significant improvements.

연구 동기 및 목표

• NMT 시스템 개발 중 인간이 재진술한 참조를 타겟으로 사용할 경우 인간 평가 번역 품질이 향상되는지 조사하는 것.
• 표준 참조와 재진술된 참조가 시스템 성능에 미치는 영향을 인간 평가 및 표준 BLEU 점수 측면에서 비교하는 것.
• 재진술된 참조 튜닝이 특히 직역 번역이 아닌 자연스럽고 유창한 번역을 향상시키는 데 유리한 NMT 설계 선택 사항을 규명하는 것.
• 재진술된 참조가 표준 참조에 존재하는 직역 중심의 '번역 스타일' 편향을 완화하는지 평가하는 것.

제안 방법

• 저자는 동일한 구성요소와 초모수를 사용하여 WMT2019 최고의 영어-독어 NMT 시스템을 재구현하였으며, 표준 참조 대신 인간이 재진술한 참조를 사용하여 모델을 재학습하고 튜닝하였다.
• 재진술된 참조는 언어학자들이 표준 인간 참조 번역을 재구성하여 더 자연스럽고 유창한 표현을 만드는 방식으로 수집되었다.
• 시스템은 표준 BLEU와 재진술 기반 BLEU(BLEU-P)를 모두 사용하여 튜닝되어 두 지표 간 직접 비교가 가능하도록 하였다.
• 역역역, 데이터 정제, 앙상블 디코딩, 재정렬과 같은 핵심 시스템 구성요소가 표준 BLEU 및 BLEU-P 점수에 미치는 영향을 평가하였다.
• 측정된 인간 평가는 WMT newstest19에서 측면 대비 선호도 테스트와 6점 척도의 적절성/유창성 평가를 통해 수행되었다.
• 각 설계 선택 사항이 표준 및 재진술 기반 참조 지표에 미치는 영향을 분리하여 상대적 중요도를 평가하였다.

실험 결과

연구 질문

• RQ1 인간이 재진술한 참조를 사용하여 NMT 시스템을 튜닝할 경우, 표준 참조를 사용한 경우보다 인간 평가 번역 품질이 향상되는가?
• RQ2 역역역 및 앙상블과 같은 설계 선택 사항이 표준 BLEU와 재진술 기반 BLEU(BLEU-P)에 얼마나 영향을 미치는가?
• RQ3 재진술된 참조는 표준 참조보다 NMT 시스템 개발에서 인간 평가에 더 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ4 표준 BLEU에서 5 포인트 감소에도 불구하고 BLEU-P 최적화 시스템이 왜 인간 평가 점수가 더 높은가?

주요 결과

• 재진술된 참조로 튜닝된 시스템은 인간 평가에서 적절성 점수 4.72/6.0을 기록하여 표준 참조로 튜닝된 시스템(4.27/6.0)보다 유의미하게 높았다.
• 측면 대비 유창성 평가에서 재진술 최적화 시스템은 63.8%의 선호도를 기록했고, 표준 참조로 튜닝된 모델은 27.2%에 그쳤다.
• 표준 참조 기준으로 5 BLEU 포인트 감소에도 불구하고 인간 평가에서의 향상이 두드러져, 이 경우 표준 BLEU는 인간 품질에 대한 나쁜 대체 지표임을 시사한다.
• 역역역은 표준 BLEU보다 BLEU-P 기준에서 더 큰 영향을 미치는 것으로 나타나, 자연스럽고 재진술된 유사한 출력을 생성하는 데 도움이 된다는 것을 시사한다.
• 앙상블 디코딩은 BLEU-P에 표준 BLEU만큼 큰 영향을 미치지 않았으며, 이는 지표가 단지 공통되거나 공감대를 형성하는 예측을 덜 강조한다는 것을 의미한다.
• 결과적으로 재진술된 참조는 직역 중심의 '번역 스타일' 편향을 줄이고 인간이 선호하는 자연스럽고 유창한 번역을 더 잘 반영함을 확인하였다.