[논문 리뷰] Embarrassingly Easy Document-Level MT Metrics: How to Convert Any Pretrained Metric Into a Document-Level Metric

Giorgos Vernikos, Brian J. Thompson외 2명|arXiv (Cornell University)|2022. 09. 27.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 이전 문장들로부터의 맥락을 통합함으로써 사전에 훈련된 문장 수준의 기계 번역(MT) 평가 지표—BERTScore, Prism, COMET, COMET-QE—를 문서 수준 지표로 확장하는 단순한 방법을 제안한다. 임bedding 단계에서 다수의 문장 맥락을 사전에 훈련된 모델에 입력함으로써, 이 방법은 논의적 현상에서 인간 평가와의 상관관계를 최대 6.1% 향상시켰으며, 저품질 번역 기준을 제외한 경우 85%의 케이스에서 문장 수준 버전을 능가한다.

ABSTRACT

We hypothesize that existing sentence-level machine translation (MT) metrics become less effective when the human reference contains ambiguities. To verify this hypothesis, we present a very simple method for extending pretrained metrics to incorporate context at the document level. We apply our method to three popular metrics, BERTScore, Prism, and COMET, and to the reference free metric COMET-QE. We evaluate the extended metrics on the WMT 2021 metrics shared task using the provided MQM annotations. Our results show that the extended metrics outperform their sentence-level counterparts in about 85% of the tested conditions, when excluding results on low-quality human references. Additionally, we show that our document-level extension of COMET-QE dramatically improves its accuracy on discourse phenomena tasks, outperforming a dedicated baseline by up to 6.1%. Our experimental results support our initial hypothesis and show that a simple extension of the metrics permits them to take advantage of context to resolve ambiguities in the reference.

연구 동기 및 목표

• 사전에 훈련된 MT 평가 지표가 인간 기준 번역에 모호성이 포함되어 있을 경우 효과를 상실하는지 조사하는 것.
• 모든 사전에 훈련된 문장 수준 지표를 문서 수준으로 확장하는 데에 최소한의 일반화 가능성을 갖춘 방법을 개발하는 것.
• 문서 수준 맥락이 인간 MT 평가와의 일치도를 향상시키는지, 특히 논의적 현상에 대해 평가하는 데에 효과적인지 평가하는 것.
• 오류 전파를 줄이기 위해 참조 맥락이 가설 맥락보다 더 효과적인지 평가하는 것.
• 문서 수준 지표가 전체 문서 맥락을 고려하는 인간 평가 관행을 더 잘 반영한다는 것을 입증하는 것.

제안 방법

• 임bedding 단계에서 대상 문장과 그 이전 두 문장을 맥락으로 함께 모델에 입력하여 사전에 훈련된 MT 지표를 확장한다.
• BERTScore와 Prism의 경우, BERT 기반 모델에서 생성된 맥락 기반 임베딩을 사용해 맥락이 포함된 문장 수준 점수를 계산한다.
• COMET과 COMET-QE의 경우, 원래의 지표 아키텍처를 유지하면서 소스 문장 맥락을 동일한 방식으로 통합한다.
• 원래의 문장 수준 지표와 동일한 점수 계산 방식을 사용하지만, 맥락 인식 표현을 활용한다.
• WMT 2021 언어 쌍과 도메인 전반에서 네 가지 지표(BERTScore, Prism, COMET, COMET-QE)에 대해 이 방법을 적용한다.
• 참조 및 가설 맥락의 아블레이션을 사용하여 MQM 인간 평가와의 시스템 수준 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 문서 수준 맥락을 통합함으로써 사전에 훈련된 MT 지표의 인간 평가와의 상관관계가 향상되는가?
• RQ2 문서 수준 지표 성능에서 참조 맥락이 가설 맥락보다 더 효과적인가?
• RQ3 성능 향상을 위해 최적의 맥락 길이는 얼마인가(예: 1개, 2개 문장)?
• RQ4 문서 수준 지표가 인간 기준 번역의 모호성을 어느 정도 해결하는가?
• RQ5 COMET-QE의 문서 수준 확장이 성능 향상에 기여하는가? 특히 대명사 해석 및 어휘의 의미 다의성 해소와 같은 논의 특화 작업에서.

주요 결과

• 저품질 기준을 제외한 경우, 테스트된 조건의 85%에서 네 가지 지표의 문서 수준 확장 버전이 문장 수준 버전을 능가하며, 특히 Zh→En 뉴스에서 두드러진다.
• COMET-QE의 문서 수준 확장은 문장 수준 버전 대비 논의적 현상에서 최대 6.1% 향상되며, 기준 번역의 모호성을 더 잘 해소함을 보여준다.
• 가설 맥락 대신 참조 맥락을 사용할 경우 성능이 더 좋으며, 가설 맥락에는 오류가 더 많아 전파되어 지표 신뢰도가 떨어지기 때문이다.
• 이전 문장 하나에서 두 문장으로 맥락을 늘일수록 일반적으로 상관관계가 향상되지만, 저품질 기준(예: Zh→En 뉴스)에서는 성능이 저하된다.
• 모든 언어 쌍(En→De, Zh→En, En→Ru)과 도메인(TED 강연, 뉴스)에서 일관된 향상이 관찰되었으며, 특히 논의 민감도가 높은 작업에서 더 큰 성과를 보였다.
• 결과는 참조 문장이 종종 모호성을 내포하고 있으며, 문서 수준 맥락이 이를 해소함을 시사하며, 현재의 지표들은 맥락 없이선 이를 포착하지 못한다는 가설을 지지한다.