[논문 리뷰] To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation

Tom Kocmi, Christian Federmann외 4명|arXiv (Cornell University)|2021. 07. 22.

Natural Language Processing Techniques참고 문헌 44인용 수 82

한 줄 요약

이 논문은 쌍대 시스템 순위에 대한 인간 판단에 대한 MT 자동 메트릭의 대규모 평가를 수행하며, pretrained 메트릭(특히 COMET 및 COMET-src)이 문자열 기반 메트릭보다 우수하다고 입증하고 메트릭 사용에 대한 모범 사례를 제안합니다.

ABSTRACT

Automatic metrics are commonly used as the exclusive tool for declaring the superiority of one machine translation system's quality over another. The community choice of automatic metric guides research directions and industrial developments by deciding which models are deemed better. Evaluating metrics correlations with sets of human judgements has been limited by the size of these sets. In this paper, we corroborate how reliable metrics are in contrast to human judgements on -- to the best of our knowledge -- the largest collection of judgements reported in the literature. Arguably, pairwise rankings of two systems are the most common evaluation tasks in research or deployment scenarios. Taking human judgement as a gold standard, we investigate which metrics have the highest accuracy in predicting translation quality rankings for such system pairs. Furthermore, we evaluate the performance of various metrics across different language pairs and domains. Lastly, we show that the sole use of BLEU impeded the development of improved models leading to bad deployment decisions. We release the collection of 2.3M sentence-level human judgements for 4380 systems for further analysis and replication of our work.

연구 동기 및 목표

• 자동 MT 메트릭이 쌍대 시스템 순위에서 인간 판단을 얼마나 신뢰성 있게 예측하는지 평가합니다.
• 언어 쌍, 도메인 및 방향을 비교하여 메트릭의 강건성을 평가합니다.
• pretrained 메트릭이 전통적인 문자열 기반 메트릭보다 다양한 설정에서 우수한지 여부를 판단합니다.
• 연구 및 배포에서 자동 MT 메트릭 사용에 대한 실용적인 모범 사례를 제공합니다.

제안 방법

• 가장 큰 공개 발표된 인간 판단 수집(2.3M 판단, 4380 시스템)으로 구성합니다.
• 인간 판단에 대한 이진 쌍별 정확도를 주요 평가 지표로 정의합니다.
• 문자열 기반 및 pretrained를 포함한 자동 메트릭 집합을 쌍대 시스템 차이에서 평가합니다.
• 의의 및 신뢰도를 평가하기 위해 Wilcoxon 부호 순위 검정과 부트스트랩 재샘플링을 사용합니다.
• 언어 방향, 비영어권 사례 및 도메인 전반의 성능을 분석하여 강건성을 테스트합니다.

실험 결과

연구 질문

• RQ1 어떤 자동 MT 메트릭이 MT 시스템의 인간 기반 쌍별 순위를 가장 잘 예측합니까?
• RQ2 메트릭은 언어 방향, 비영어권 언어, 그리고 서로 다른 도메인에서 어떻게 작동합니까?
• RQ3 쌍별 결정의 메트릭 신뢰성에 통계적 유의성 검정이 미치는 영향은 무엇입니까?
• RQ4 BLEU에 의한 의존성이 연구나 개발에 편향을 주는가, pretrained 메트릭이 이를 완화할 수 있는가?

주요 결과

• pretrained 메트릭은 일반적으로 문자열 기반 메트릭보다 쌍대 시스템 순위에서 더 우수하며, COMET가 가장 높은 정확도를 달성합니다.
• COMET-src도 잘 작동하며, 놀랍게도 인간 참조를 사용하지 않습니다.
• 문자열 기반 메트릭 중에서 ChrF가 쌍대 순위 정확도 측면에서 BLEU보다 우수합니다.
• 페어드 유의성 검정(부트스트랩)을 사용하면 메트릭 간 순위 신뢰도가 크게 증가합니다.
• BLEU는 연구나 개발에 비효율적인 편향을 초래하는 경향이 있으며, pretrained 메트릭은 언어 및 도메인 전반에서 강건성을 보입니다.
• 매우 다른 시스템에 대해서도 정확도가 100%에 미치지 못하므로 자동 메트릭이 사람 평가를 완전히 대체할 수는 없습니다.