[論文レビュー] LEPOR: An Augmented Machine Translation Evaluation Metric

Lifeng Han|arXiv (Cornell University)|Mar 26, 2017

Natural Language Processing Techniques参考文献 8被引用数 8

ひとこと要約

LEPORは、柔軟で最適化されたスコアリングフレームワークに調整可能な言語学的特徴——特に品詞（POS）タギング——を統合することで、多様な言語対において精度と耐性を向上させる、新しい拡張型機械翻訳評価指標である。これは、特に非英語の元言語においても、既存の指標を上回る性能を示し、ACL-WMT合同タスクでも優れた結果を示しており、NB、SVM、CRFモデルを用いた参照なし品質推定についても貢献している。

ABSTRACT

Machine translation (MT) was developed as one of the hottest research topics in the natural language processing (NLP) literature. One important issue in MT is that how to evaluate the MT system reasonably and tell us whether the translation system makes an improvement or not. The traditional manual judgment methods are expensive, time-consuming, unrepeatable, and sometimes with low agreement. On the other hand, the popular automatic MT evaluation methods have some weaknesses. Firstly, they tend to perform well on the language pairs with English as the target language, but weak when English is used as source. Secondly, some methods rely on many additional linguistic features to achieve good performance, which makes the metric unable to replicate and apply to other language pairs easily. Thirdly, some popular metrics utilize incomprehensive factors, which result in low performance on some practical tasks. In this thesis, to address the existing problems, we design novel MT evaluation methods and investigate their performances on different languages. Firstly, we design augmented factors to yield highly accurate evaluation. Secondly, we design a tunable evaluation model where weighting of factors can be optimized according to the characteristics of languages. Thirdly, in the enhanced version of our methods, we design concise linguistic feature using part-of-speech (POS) to show that our methods can yield even higher performance when using some external linguistic resources. Finally, we introduce the practical performance of our metrics in the ACL-WMT workshop shared tasks, which show that the proposed methods are robust across different languages. In addition, we also present some novel work on quality estimation of MT without using reference translations including the usage of probability models of Naïve Bayes (NB), support vector machine (SVM) classification algorithms, and CRFs.

研究の動機と目的

• 既存の自動MT評価指標の限界、特に英語対訳に偏ったバイアスと、複雑で再現不能な言語学的特徴への依存を是正すること。
• 言語固有の特性に基づいて評価要因の重みを調整可能な、チューナブルな評価モデルの開発。
• 品詞（POS）タギングなどの簡潔な言語学的特徴を活用して、一般化性能と再現性を向上させ、言語対をまたがる評価性能の向上。
• 参照ありおよび参照なしMT評価の両方を可能にし、ナイーブベイズ、SVM、CRFなどの確率的モデルを用いた品質推定を実現。

提案手法

• 言語学的分析から導出された拡張評価要因（POSタギングを含む）を導入し、整合性と流暢さの評価を向上。
• 言語対ごとに最適化された特徴重みを有するチューナブルモデルを採用し、言語的差異を反映させ、人的判断との相関を向上。
• 複雑性を増さずに性能を向上させる軽量で効果的な言語学的リソースとして、品詞（POS）特徴を統合。
• ナイーブベイズ、SVM、CRFなどの確率的モデルを用いて、翻訳出力を直接入力として品質を予測する、参照なし品質推定を実施。
• ACL-WMT合同タスクにおいて指標を検証し、多様な言語対で一貫した性能を示した。
• 自動指標設計と品質推定を組み合わせたハイブリッドアプローチを採用し、参照ありおよび参照なし評価を両立。

実験結果

リサーチクエスチョン

• RQ1 チューナブルで拡張された指標は、特に英語が元言語の場合に多様な言語対においてMT評価性能を向上させることができるか？
• RQ2 品詞タギングのような軽量な言語学的特徴は、MT評価の正確性と一般化性能を向上させるのにどの程度有効か？
• RQ3 NB、SVM、CRFに基づく参照なし品質推定モデルは、翻訳の参照が利用できない状況でも信頼性ある性能を達成できるか？
• RQ4 提案された指標は、低リソース言語や非英語の元言語を含む複数の言語対において、人的判断との高い相関を維持できるか？
• RQ5 最適化された特徴重み統合は、固定重みの指標と比較して、耐性と再現性をどのように向上させるか？

主な発見

• LEPORはACL-WMT合同タスクにおいて複数の言語対で優れた性能を示し、人的判断との高い相関と耐性を確認した。
• 品詞（POS）特徴の統合により、特に低リソースまたは非英語の元言語環境において評価の正確性が顕著に向上した。
• チューナブルな重み付けメカニズムにより、言語固有の特性に効果的に適応でき、全体の評価信頼性が向上した。
• NB、SVM、CRFに基づく参照なし品質推定モデルは有望な結果を示し、翻訳の参照が入手できない場合の代替手段として有効であることが示された。
• 英語が元言語の場合に、従来の自動指標よりも優れた性能を示し、既存システムの主な限界を是正した。
• 再現可能でスケーラブルな設計であり、明確な設計原則を有し、大規模な再トレーニングなしに新たな言語対への応用が可能である。