[論文レビュー] Translation Quality Assessment: A Brief Survey on Manual and Automatic Methods

Lifeng Han, Gareth J. F. Jones+1 more|arXiv (Cornell University)|May 5, 2021

Natural Language Processing Techniques参考文献 131被引用数 14

ひとこと要約

本論文は、手動および自動翻訳品質評価（TQA）手法について包括的かつ簡潔なサーベイを提示し、それらを従来型および高度なフレームワークに分類している。文のなめらかさ、適切さ、理解度といった人間の判断基準と、n-gram、言語的特徴に基づく、深層学習モデルを含む自動化されたメトリクスを評価し、MT研究および要約や生成といった他のNLPタスクにおけるそれらの役割を強調している。

ABSTRACT

To facilitate effective translation modeling and translation studies, one of the crucial questions to address is how to assess translation quality. From the perspectives of accuracy, reliability, repeatability and cost, translation quality assessment (TQA) itself is a rich and challenging task. In this work, we present a high-level and concise survey of TQA methods, including both manual judgement criteria and automated evaluation metrics, which we classify into further detailed sub-categories. We hope that this work will be an asset for both translation model researchers and quality assessment researchers. In addition, we hope that it will enable practitioners to quickly develop a better understanding of the conventional TQA field, and to find corresponding closely relevant evaluation solutions for their own needs. This work may also serve inspire further development of quality assessment and evaluation methodologies for other natural language processing (NLP) tasks in addition to machine translation (MT), such as automatic text summarization (ATS), natural language understanding (NLU) and natural language generation (NLG).

研究の動機と目的

• 機械翻訳およびNLP分野の研究者を対象に、翻訳品質評価（TQA）手法の構造的概要を提供すること。
• 従来型（例：なめらかさ、適切さ）および高度型（例：修正作業、クラウドソーシングによる直接評価）の手法を含む、人間による評価手法の分類と比較を行うこと。
• 自動TQAメトリクスを、n-gramマッチング、言語的特徴の統合、深層学習ベースのアプローチに分類して分析すること。
• 要約、自然言語理解、生成といった関連するNLPタスクにおけるTQA手法の関連性を強調すること。
• 各TQA手法の長所、短所、応用を明確にすることで、研究者が適切な評価手法を選択できるように支援すること。

提案手法

• 人間による評価を、従来型（理解可能性、忠実度、なめらかさ、適切さ、理解度）と高度型（タスク指向型、修正作業、セグメントランク付け、クラウドソーシングによる直接評価）に分類する。
• 自動TQAを3段階に分類する：n-gramの表面的マッチング（例：BLEU、WER、PER、TER）、言語的特徴の統合（例：NIST、METEOR、F-measure）、深層学習モデル（例：LEPOR、hLEPOR、nLEPOR）。
• ゴールスタンダードのランク付けを必要とせず、外生的基準値に基づいて提案されたランク付けの価値を測定する、ランク付け評価のためのDeltaAvgメトリクスを導入する。
• ゴールスタンダード値との品質推定（QE）スコアの評価に、標準的な回帰評価指標（平均絶対誤差（MAE）と平均二乗誤差（RMSE））を用いる。
• BLEU（双方向評価ペナルティを含む）、METEOR（長さおよび位置ペナルティを含む）、LEPOR（適合率と再現率の調和平均にペナルティを加味）といった主要メトリクスの数学的定式化を提示する。
• 弱教師ありおよび教師なしのQEモデルの最新動向をレビューし、WMT2019やQE共有タスク（Fonsecaら、2019；Speciaら、2020）を含む。

実験結果

リサーチクエスチョン

• RQ1 従来型と高度な人間による評価手法は、翻訳品質評価の基準と応用においてどのように異なるか？
• RQ2 機械翻訳評価で用いられる主要な自動メトリクスは何か。それらは設計および性能においてどのように異なるか？
• RQ3 LEPORやその変種のような深層学習ベースのメトリクスは、従来のn-gramおよび言語的特徴に基づくメトリクスに比べてどのように向上しているか？
• RQ4 品質推定（QE）メトリクスは、リソースが限られた環境やリファレンスレスな状況において、従来のリファレンスベース評価の代理としてどの程度有効に機能するか？
• RQ5 TQA手法は、要約、自然言語生成、理解といった他のNLPタスクにどのように適合・応用できるか？

主な発見

• DeltaAvgメトリクスは、ゴールスタンダードのランク付けを必要とせず、外生的基準値に基づいて提案されたランク付けの価値を評価することで、ランク相関のリファレンスレスな代替手段を提供する。
• MAEとRMSEは、効果的で、決定論的かつ解釈可能な評価指標であり、MAEを主な指標、RMSEを補助指標として用いる。
• LEPORおよびその変種（nLEPOR、hLEPOR）は、長さペナルティ、位置差、適合率と再現率の調和平均を統合することで、従来のメトリクスを上回る性能を示す。
• 品質推定（QE）分野の最近の進展により、リファレンスレスな評価が可能になった。WMT2019などの共有タスクでは、QEが主流のMT評価に統合された。
• QEと従来のMT評価の統合は進化を遂げており、共有タスクを通じて相互の利点が示され、評価の堅牢性が向上している。
• 本サーベイは、深層学習モデルがTQAを進展させている一方で、解釈可能性と制御された環境下での一貫性の高さから、従来のメトリクスが依然として重要であると強調している。