[論文レビュー] xCOMET: Transparent Machine Translation Evaluation through Fine-grained Error Detection

Guerreiro, Nuno M., Ricardo Rei+4 more|arXiv (Cornell University)|Oct 16, 2023

Natural Language Processing Techniques被引用数 16

ひとこと要約

xCOMET は統一されたオープンソースの MT 評価指標で、文章レベルの回帰と誤差スパン検出を同時に行い、文章レベル・システムレベル・誤差スパン評価の人間の判断との相関を高め、翻訳エラーと重大度をハイライトします。

ABSTRACT

Widely used learned metrics for machine translation evaluation, such as COMET and BLEURT, estimate the quality of a translation hypothesis by providing a single sentence-level score. As such, they offer little insight into translation errors (e.g., what are the errors and what is their severity). On the other hand, generative large language models (LLMs) are amplifying the adoption of more granular strategies to evaluation, attempting to detail and categorize translation errors. In this work, we introduce xCOMET, an open-source learned metric designed to bridge the gap between these approaches. xCOMET integrates both sentence-level evaluation and error span detection capabilities, exhibiting state-of-the-art performance across all types of evaluation (sentence-level, system-level, and error span detection). Moreover, it does so while highlighting and categorizing error spans, thus enriching the quality assessment. We also provide a robustness analysis with stress tests, and show that xCOMET is largely capable of identifying localized critical errors and hallucinations.

研究の動機と目的

• 単一の文レベルのスコアだけでは不十分で、より情報量の多い MT 評価が必要であることを動機づける。
• 回帰ベースの品質評価と細粒度の誤差スパン検出を組み合わせた統一指標を開発する。
• 高品質な公開DAおよびMQMデータと合成的摂動を活用して頑健なモデルを訓練する。
• 文章レベル、システムレベル、誤差スパン評価のすべてで最先端の性能を示す。

提案手法

• 大規模な事前学習済みエンコーダー・バックボーンを用い、2つの予測ヘッドを持つ：文章レベルの回帰ヘッドと語/スパンレベルの重大度タグ付け器。
• REF、SRC+REF、およびSRC評価を1つのモデル内で処理する完全統一入力スキームを採用する。
• 3段階のカリキュラムで訓練し、文章レベルの監督（DA）、語レベルの監督（MQM）、および協調的洗練（高品質なMQMデータと合成的幻覚を用いる）を交互に行う。
• 3つのフォワードパス（SRC、REF、SRC+REF）からの文章レベルスコアと、予測された誤差スパンから推定されるMQMスコアを組み合わせ、加重和によって最終的な文章スコアを生成する。
• パス間で語レベル予測を平均して誤差スパンを推定し、隣接する誤差トークンを最も厳格なタグから導出される重大度でスパンとして結合する。
• 参照ベースと参照なしの設定の双方で評価し、MQMに合わせた誤差スパン注釈を有効にする。）

実験結果

リサーチクエスチョン

• RQ1 単一のMT評価モデルは、信頼できる文章レベルのスコアと細粒度の誤差スパンを同時に提供できるか？
• RQ2 統一入力戦略とマルチタスク訓練は、文章レベル、システムレベル、誤差スパン評価のすべてで最先端の性能を達成するか？
• RQ3 局所的な誤りや幻覚へのモデルの頑健性はどの程度か、誤差スパンはそれらの検出に役立つか？
• RQ4 訓練カリキュラムと合成データが指標の品質と解釈性に与える影響は何か？

主な発見

• xCOMET は文章レベルで最先端の相関を達成し、誤差スパン予測の性能も高く、いくつかのニューラル指標を上回り、大規模LLMベースの評価者と競合する。
• 誤差スパンから推定されたMQMスコアは、文章レベルの予測と密接に一致し、スパンと全体スコアの透明なリンクを提供する。
• 誤差スパン予測は、エラ検出においてGPT-3.5/GPT-4のベースラインを上回るか、同等でありつつ、サイズは小さく効率的である。
• 誤差スパンは局所的な誤り（否定、数字/NER誤りなど）の堅牢な局在化を可能にし、xCOMET が幻覚を検出して罰することを示す。
• 言語ペア zh-en、en-de、en-ru において、xCOMET-XL/XXL は文章レベルおよびシステムレベル評価の新しいベースラインを設定し、XXL は非LLMベースラインの中でしばしばトップを占める。
• SMAUG と幻覚ベンチマークを用いた頑健性分析は、病的な翻訳に対する xCOMET の感度と幻覚を適切に順位付けする能力を示している。