[論文レビュー] Improve the Evaluation of Translation Fluency by Using Entropy of Matched Sub-segments

Hui Yu, Xiaofeng Wu+3 more|arXiv (Cornell University)|Aug 10, 2015

Natural Language Processing Techniques参考文献 9被引用数 3

ひとこと要約

この論文は、仮説訳と参照訳間の一致する部分訳の分布を分析することで、翻訳のなめらかさ（fluency）を評価するためのエントロピーに基づく手法を提案する。特に、長く一貫性のあるシーケンスを捉えることで、BLEU や METEOR といった既存の指標の性能を向上させ、WMT 2010 および WMT 2012 における人間の評価との相関を顕著に向上させる。

ABSTRACT

The widely-used automatic evaluation metrics cannot adequately reflect the fluency of the translations. The n-gram-based metrics, like BLEU, limit the maximum length of matched fragments to n and cannot catch the matched fragments longer than n, so they can only reflect the fluency indirectly. METEOR, which is not limited by n-gram, uses the number of matched chunks but it does not consider the length of each chunk. In this paper, we propose an entropy-based method, which can sufficiently reflect the fluency of translations through the distribution of matched words. This method can easily combine with the widely-used automatic evaluation metrics to improve the evaluation of fluency. Experiments show that the correlations of BLEU and METEOR are improved on sentence level after combining with the entropy-based method on WMT 2010 and WMT 2012.

研究の動機と目的

• BLEU などの n-gram ベースの指標が長く滑らかな翻訳セグメントを捉えきれていないという限界を是正すること。
• METEOR が一致するチャンクの長さをなめらかさ評価に反映していないという欠点を克服すること。
• 一致する部分訳のエントロピーを用いてなめらかさを定量化する新しい手法を提案すること。
• 既存の自動評価指標と統合することで、性能を向上させること。
• WMT 2010 や WMT 2012 のような標準ベンチマークを用いて、手法の有効性を検証すること。

提案手法

• 仮訳と参照訳間の一致する部分訳のエントロピーを計算することで、なめらかさを定量化する。
• 一致する部分訳は、単語レベルのアラインメントまたはチャンク化機構を用いて同定される。
• エントロピーは、一致する断片の長さの分布に基づいて計算され、より均等な分布（なめらかさが良いとされる）を好む。
• エントロピー得点は、BLEU や METEOR といった既存の指標と組み合わせられ、それらのなめらかさ評価能力が向上する。
• この手法はモジュール型に設計されており、標準的な自動評価パイプラインへの容易な統合が可能である。
• 短い n-gram の一致よりも、長く一貫性のある一致断片に注目することで、なめらかさへの感受性が向上する。

実験結果

リサーチクエスチョン

• RQ1 n-gram ベースの指標よりも、一致する部分訳のエントロピーが翻訳のなめらかさをよりよく反映できるか？
• RQ2 一致する断片の長さ分布が、機械翻訳におけるなめらかさの認識にどのように影響するか？
• RQ3 エントロピーに基づくスコアリングによって、BLEU や METEOR の人間評価との相関はどの程度向上するか？
• RQ4 既存の指標と効果的に統合できるか、大規模な再トレーニングは不要か？
• RQ5 この手法は、さまざまな翻訳評価ベンチマークに一般化可能か？

主な発見

• エントロピーに基づく手法により、WMT 2010 および WMT 2012 ベンチマークにおける BLEU の人間評価との相関が向上した。
• この手法により、METEOR のなめらかさ評価が、一致するチャンクの長さ分布を組み込むことで向上した。
• エントロピー得点の統合により、ベースライン指標よりも信頼性の高い文単位のなめらかさ評価が可能になった。
• この手法は、n-gram 指標が見逃す長く一貫性のある翻訳セグメントを効果的に捉えた。
• 複数の評価設定において一貫した改善が確認され、手法の頑健性が裏付けられた。