[論文レビュー] Evaluation and Ranking of Machine Translated Output in Hindi Language using Precision and Recall Oriented Metrics

Aditi Kalyani, Hemant Kumud+3 more|arXiv (Cornell University)|Apr 7, 2014

Natural Language Processing Techniques参考文献 12被引用数 7

ひとこと要約

この論文は、ヒンディー語のような自由な語順言語に適した、精度および再現率指向のメトリクスを用いて機械翻訳されたヒンディー語のテキストを評価・順位付けする。これらのメトリクスの有効性を示し、BLEU、NIST、METEORといったメトリクスを比較して、ヒンディー語の柔軟な語順のため、再現率重視の測定値が優れていることを示している。特にMETEORは人間の判断と最も高い相関を示した。

ABSTRACT

Evaluation plays a crucial role in development of Machine translation systems. In order to judge the quality of an existing MT system i.e. if the translated output is of human translation quality or not, various automatic metrics exist. We here present the implementation results of different metrics when used on Hindi language along with their comparisons, illustrating how effective are these metrics on languages like Hindi (free word order language).

研究の動機と目的

• ヒンディー語のような自由な語順言語であり、複雑な語形変化を持つ言語における自動評価メトリクスの有効性を評価すること。
• 機械翻訳されたヒンディー語出力の品質を人間の判断と照らし合わせた際に、どのメトリクスが最も相関が高いかを特定すること。
• ヒンディー語の文脈において、精度および再現率指向のメトリクスに基づいて機械翻訳システムを順位付けすること。
• ヒンディー語のような低リソースで語形が豊富な言語におけるメトリクス選定に関する知見を提供すること。

提案手法

• 標準的な自動メトリクス（BLEU、NIST、METEOR、TER）をヒンディー語のMT出力に実装・適用すること。
• システム出力と比較するための基準翻訳（ゴールドスタンダード）の使用。
• 文単位での精度および再現率スコアの計算により、語レベルの一致と文の流れを評価すること。
• ヒンディー語における語形の変化に対応するため、n-gramおよび語の意味の一致を適用すること。
• メトリクススコアに基づいてMTシステムを順位付けし、人間の評価スコアと比較すること。
• 人間の判断との相関係数（例：ピアソン相関）を用いたメトリクス性能の統計的分析。

実験結果

リサーチクエスチョン

• RQ1 標準的な自動メトリクスは、ヒンディー語の機械翻訳に対して人間の判断とどの程度相関しているか？
• RQ2 BLEU、NIST、METEOR、TERの中で、どのメトリクスがヒンディー語MT出力の評価において最も優れているか？
• RQ3 ヒンディー語の自由な語順は、精度および再現率指向のメトリクスの信頼性にどの程度影響を与えるか？
• RQ4 METEORのような再現率重視のメトリクスは、BLEUのような精度重視のメトリクスに比べ、ヒンディー語における文の流れや意味的正確さをよりよく捉えられるか？
• RQ5 ヒンディー語における語形の変化は、標準的な評価メトリクスの性能にどのように影響を与えるか？

主な発見

• すべての評価メトリクスの中で、METEORが人間の判断と最も高い相関を示し、ヒンディー語における優れた性能を示した。
• 再現率重視のメトリクスが、BLEUのような精度重視のメトリクスよりも、ヒンディー語の翻訳における意味的正確さをよりよく捉えていた。
• NISTは中程度の相関を示したが、n-gram長さや語順の感度のため、METEORほど安定していなかった。
• TERはヒンディー語では性能が低く、高い語形変化と語順の柔軟性のためと考えられる。
• この研究では、英語のような語順言語を想定して設計された標準的なメトリクスが、自由な語順言語（ヒンディー語など）では効果が低いことが確認された。
• METEORが同義語の扱いや語順の変化に対応できることから、ヒンディー語のMT出力評価に最も適していることが分かった。