[論文レビュー] Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET

Chantal Amrhein, Rico Sennrich|arXiv (Cornell University)|Feb 10, 2022

Natural Language Processing Techniques被引用数 13

ひとこと要約

本稿では、神経機械翻訳評価指標（COMETなど）に隠れたバイアスを露呈するために、サンプルベースの最小ベイズリスク（MBR）デコードを提案する。評価指標を仮想的で多様な翻訳仮説の選択に用いる目的関数として扱うことで、COMETが数字や固有名の誤りに対して感受性が低いことが明らかになった。特に英語→ドイツ語およびドイツ語→英語の翻訳方向において顕著であり、合成データでの微調整後でさえもこれらの欠陥が持続していることを示している。

ABSTRACT

Neural metrics have achieved impressive correlation with human judgements in the evaluation of machine translation systems, but before we can safely optimise towards such metrics, we should be aware of (and ideally eliminate) biases toward bad translations that receive high scores. Our experiments show that sample-based Minimum Bayes Risk decoding can be used to explore and quantify such weaknesses. When applying this strategy to COMET for en-de and de-en, we find that COMET models are not sensitive enough to discrepancies in numbers and named entities. We further show that these biases are hard to fully remove by simply training on additional synthetic data and release our code and data for facilitating further experiments.

研究の動機と目的

• 神経機械翻訳評価指標（COMETなど）に潜む、ブラックボックス性のため検出されにくい隠れたバイアスを特定すること。
• COMETの評価スコアが翻訳中に数字や固有名の誤りに対して頑健であるかどうかを調査すること。
• 合成データでCOMETを再学習することで、このような誤りに対する感受性のギャップを完全に解消できるかどうかを評価すること。
• 多様な翻訳仮説を用いたMBRデコードを用いて、評価指標の盲点を特定する手法を開発・検証すること。
• 再現可能性および評価指標の頑健性に関するさらなる研究を可能にするために、オープンソースのコードおよびデータを提供すること。

提案手法

• 多様な翻訳仮説のプールを生成し、COMETを目的関数として用いるサンプルベースのMBRデコードを用いる。
• COMETをスコア関数として用い、多様な翻訳から最良の仮説を選択するMBRデコードを適用する。
• 数字、固有名、またはランダムな名詞を変更することで、元の文に標的の摂動を加え、MBR選択された出力における感受性の変化を測定する。
• MBRで選択された仮説をCOMETスコアで比較し、参照訳やビームサーチ出力と照らし合わせて感受性の差を定量化する。
• 摂動を加えた例を含む合成データでCOMETを再学習し、バイアス低減が達成可能かどうかをテストする。
• 最良の仮説を参照訳との類似度に基づいて選択するオラクル実験を実施し、MBRの仮説比較構成自体の影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 COMETがMBRデコードの目的関数として用いられた際、数字や固有名の誤りに対して感受性が不足しているか？
• RQ2 摂動を加えた例を含む合成データでCOMETを再学習することで、数字および固有名の誤りに対する感受性の欠如を完全に解消できるか？
• RQ3 COMETを用いたMBRデコード戦略は、BLEU や chrF++ といった非ニューラル指標と比較して、このような誤りを検出できるか？
• RQ4 COMETに観察された弱みは、MBRの設定に起因するものか、それとも評価指標そのものに内在する制限に起因するものか？
• RQ5 COMETに検出されたバイアスは、特に en→de および de→en の翻訳方向においても一貫して強固か？

主な発見

• 数字や固有名の誤りを導入しても、MBRスコアの差が最小限に抑えられるため、COMETはランダムな名詞の変更よりも顕著に感受性が低いことが示された。
• MBRデコードにおいて、COMETは誤った数字（例：1970ではなく1980）や誤った固有名（例：'Mahmud'ではなく'Mahmoud'）を含む仮説を頻繁に選択しており、深刻な盲点を示している。
• 合成データで摂動例を含む再学習を行った後でも、COMETは数字および固有名の誤りに対して依然として顕著な感受性の欠如を示しており、MBRスコア差が低いままであることが確認された。
• オラクル実験により、問題はMBRの構成自体に起因するものではないことが確認された（参照訳との類似度に基づく最良の仮説選択では性能が向上したが）、COMETは固有名の誤りにおいて非ニューラル指標に比べて依然として劣っている。
• 感受性分析により、COMETではランダムな名詞の変更が数字や固有名の変更よりも顕著にMBRスコア差を生じさせることから、逆説的だがバイアスが存在することが示された。
• en→deおよびde→enの両翻訳方向において、COMETの数字および固有名の誤りに対する感受性は依然として低く、平均MBRスコア差はそれぞれ-0.047および-0.069であり、言語ペアをまたいで一貫した弱みが確認された。