[논문 리뷰] xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection

Guerreiro, Nuno M., Ricardo Rei외 4명|arXiv (Cornell University)|2023. 10. 16.

Natural Language Processing Techniques인용 수 16

한 줄 요약

xCOMET은 문장-수준 회귀와 오류 스팬 탐지를 함께 수행하는 통합 오픈소스 MT 평가 지표로, 문장-시스템-오류 스팬 평가 전반에서 인간 평가와의 상관관계가 높고 번역 오류 및 심각도를 강조합니다.

ABSTRACT

Widely used learned metrics for machine translation evaluation, such as COMET and BLEURT, estimate the quality of a translation hypothesis by providing a single sentence-level score. As such, they offer little insight into translation errors (e.g., what are the errors and what is their severity). On the other hand, generative large language models (LLMs) are amplifying the adoption of more granular strategies to evaluation, attempting to detail and categorize translation errors. In this work, we introduce xCOMET, an open-source learned metric designed to bridge the gap between these approaches. xCOMET integrates both sentence-level evaluation and error span detection capabilities, exhibiting state-of-the-art performance across all types of evaluation (sentence-level, system-level, and error span detection). Moreover, it does so while highlighting and categorizing error spans, thus enriching the quality assessment. We also provide a robustness analysis with stress tests, and show that xCOMET is largely capable of identifying localized critical errors and hallucinations.

연구 동기 및 목표

• 단일 문장 점수 이상으로 더 정보가 풍부한 MT 평가의 필요성을 동기 부여합니다.
• 회귀 기반 품질 평가와 세밀한 오류 스팬 탐지을 결합한 통합 지표를 개발합니다.
• 높은 품질의 공개 DA 및 MQM 데이터와 합성 섭동을 활용하여 강건한 모델을 교육합니다.
• 문장-수준, 시스템-수준 및 오류-스팬 작업 전반에서 최첨단 성능을 구현합니다.

제안 방법

• 문장-수준 회귀 헤드와 단어/스팬-수준 심각도 태거를 갖춘 대형 사전 학습 인코더 백본을 사용합니다.
• REF, SRC+REF, SRC 평가를 단일 모델 내에서 처리하는 완전한 통합 입력 스킴을 채택합니다.
• 세 단계의 커리큘럼으로 학습합니다: 문장-수준 감독(DA), 단어-수준 감독(MQM), 그리고 공동 정교화(합성 환각이 포함된 고품질 MQM 데이터) 사이를 번갈아가며.
• 세 번의 순전파(SRC, REF, SRC+REF)에서의 문장-수준 점수와 예측된 오류 스팬으로부터 추정된 MQM 점수를 가중합으로 최종 문장 점수로 생성합니다.
• 패스들에 걸친 단어 수준 예측을 평균화하고 인접한 오류 토큰을 가장 심한 태그에서 파생된 심각도로 묶어 스팬으로 추론합니다.
• 참조 기반 및 비참조 설정 모두에서 평가하고 MQM에 맞춘 오류-스팬 주석을 활성화합니다.

실험 결과

연구 질문

• RQ1 하나의 MT 평가 모델이 신뢰할 수 있는 문장-수준 점수와 세밀한 오류 스팬을 동시에 제공할 수 있을까요?
• RQ2 통합 입력 전략과 다중 작업 학습이 문장-수준, 시스템-수준, 오류-스팬 평가에서 최첨단 성능을 낳나요?
• RQ3 국부적 오류와 환각에 대해 모델의 강건성은 어느 정도이며, 오류 스팬이 이를 탐지하는 데 도움이 되나요?
• RQ4 학습 커리큘럼과 합성 데이터가 메트릭의 품질과 해석 가능성에 미치는 영향은 무엇인가요?

주요 결과

• xCOMET은 문장-수준에서 최첨단 상관관계를 달성하고 오류-스팬 예측에서 강한 성능을 보이며, 여러 신경 지표를 능가하고 대형 LLM 기반 평가자들과 경쟁합니다.
• 오류 스팬에서 파생된 예측 MQM 점수는 문장-수준 예측과 밀접하게 일치하여 스팬과 전체 점수 간의 투명한 연결고리를 제공합니다.
• 오류-스팬 예측은 GPT-3.5/GPT-4 기준선을 능가하거나 일치하며, 크기는 더 작고 더 효율적입니다.
• 오류 스팬은 국소적 오류(예: 부정, 숫자/NER 오류)의 강건한 위치화를 가능하게 하며, xCOMET이 환각을 탐지하고 가중처벌할 수 있음을 보여줍니다.
• 언어 쌍 zh-en, en-de, en-ru 전역에서 xCOMET-XL/XXL이 문장- 및 시스템-레벨 평가의 새로운 기준선을 설정했고, XXL은 비-LLM 기준선 중에서 종종 선두를 차지합니다.
• SMAUG 및 환각 벤치마크를 통한 강건성 분석은 병리적 번역에 대한 xCOMET의 민감성과 환각을 적절히 순위를 매길 수 있는 능력을 보여줍니다.