[論文レビュー] The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation

Patrick Fernandes, Daniel Deutsch+8 more|arXiv (Cornell University)|Aug 14, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、PaLM-2 などの大規模言語モデル（LLM）を活用して、多次元的品質指標（MQM）フレームワークを用いて翻訳エラーを特定・分類することで、細分化された機械翻訳評価を実現するプロンプト技術であるAutoMQMを提案する。段落レベルでの人間の判断と高い相関を示し、特に大規模モデルで顕著な結果を達成しており、解釈可能なエラー部分を提供する。スコアのみのプロンプト手法を上回り、学習済み指標と同等のエラー検出性能を示すが、人間によるアノテーションは最小限に抑えられる。

ABSTRACT

Automatic evaluation of machine translation (MT) is a critical tool driving the rapid iterative development of MT systems. While considerable progress has been made on estimating a single scalar quality score, current metrics lack the informativeness of more detailed schemes that annotate individual errors, such as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap by proposing AutoMQM, a prompting technique which leverages the reasoning and in-context learning capabilities of large language models (LLMs) and asks them to identify and categorize errors in translations. We start by evaluating recent LLMs, such as PaLM and PaLM-2, through simple score prediction prompting, and we study the impact of labeled data through in-context learning and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that it improves performance compared to just prompting for scores (with particularly large gains for larger models) while providing interpretability through error spans that align with human annotations.

研究の動機と目的

• 単一のスカラースコアを出力する自動機械翻訳評価指標における解釈不能性の問題に対処すること。
• 大規模言語モデル（LLM）が、最小限の人工アノテーションデータを用いて、機械翻訳における細分化されたエラー検出に活用可能かどうかを調査すること。
• 先行研究が限られていた低リソース言語対におけるLLMの性能を評価すること。
• プロンプトベース手法（例：AutoMQM）とファインチューニングおよびスコア予測ベースラインの、人間の判断との相関性を比較すること。
• LLMを用いて人間のアノテーションと整合するMQMに類似したアノテーションを生成する可能性を検討すること。

提案手法

• AutoMQMは、翻訳におけるエラー部分を特定し、MQMフレームワーク（エラーの種別と深刻度）を用いて分類するようにLLMに指示するプロンプト技術である。
• 完全なファインチューニングを行わず、少数の人工アノテーション例をコンテキストに含めることで、LLMのエラー検出と分類をガイドするイン・コンテキスト・ラーニングを用いる。
• PaLM や PaLM-2 などのLLMに、直接的なスコア予測とAutoMQMによるエラーベース評価の両方をプロンプトして、設定ごとの性能を比較する。
• 標準指標として、ピアソン相関（R）、平均逆順位（MR）、およびスパンの精度と再現率（SR、MR）を段落レベルおよび語彙レベルで評価する。
• WMT22のテストセットを用い、低リソース言語対（例：ZH-EN）も含む複数の言語対でアプローチを評価し、堅牢性とスケーラビリティを検証する。
• LLMの推論力とイン・コンテキスト・ラーニングの能力を活用し、人間と整合する解釈可能なエラーアノテーションを生成することで、品質スコアを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、MQMフレームワークを用いて、解釈可能性を備えた細分化された機械翻訳評価を効果的にプロンプト可能か？
• RQ2 段落レベルでの人間の判断との相関性において、AutoMQMはスコア予測プロンプトと比較してどのように異なるか？
• RQ3 人間がアノテートしたMQMデータに対してLLMをファインチューニングすることで、性能が向上するか。特に、小規模モデルにおいて顕著な向上が見られるか？
• RQ4 データが乏しい低リソース言語対において、LLMベースの評価手法はどの程度の性能を示すか？
• RQ5 AutoMQMによって予測されたエラー部分は、人間がアノテートしたエラー部分とどの程度一致するか（精度と再現率の観点から）？

主な発見

• AutoMQMでプロンプトされたPaLM-2モデルは、スコア予測プロンプトよりも人間の判断との段落レベル相関が高く、特に大規模モデル（例：Unicorn）では顕著な向上を示す。
• PaLM-2 Unicornを用いた参照なしバージョンのAutoMQMは、段落レベルで競争力のある性能を示し、EN-DEでの相関（MCC = 0.143）で最高の学習済み指標と同等の結果を達成した。
• AutoMQMが生成するエラー部分は、主要エラーの50％以上を正しく特定しており、ZH-ENではUnicornが主要再現率（MR）0.476を達成し、最先端の語彙レベル評価手法と同等の性能を示した。
• AutoMQMが生成するスコアの分布は、スコア予測プロンプトよりもゴールドMQM分布にはるかに近く、スコアの範囲が広く、人間がアノテートした範囲とよりよく一致している。
• 人間の判断データに対してLLMをファインチューニングすることで、特に小規模モデル（例：Bison）の段落レベル性能が顕著に向上し、最先端の学習済み指標との差を埋めた。
• AutoMQMは、すべての評価指標においてゼロショットのスコア予測を上回り、エラーに基づくプロンプトがより情報量が多く、正確な評価を可能にすることを示した。