[論文レビュー] An Automatic Machine Translation Evaluation Metric Based on Dependency Parsing Model

Hui Yu, Xiaofeng Wu+3 more|arXiv (Cornell University)|Aug 9, 2015

Natural Language Processing Techniques参考文献 13被引用数 9

ひとこと要約

本論文は、手動で定義された部分構造に依存せずに、仮説翻訳と参照翻訳の構文的類似性を評価するために最大エントロピー依存解析モデルを活用する、新しい機械翻訳評価指標DPMFを提案する。参照の依存木上で解析器を学習し、その確率スコアを仮説の依存木に適用することで構文的類似性を測定する。さらに、語彙的類似性を評価するunigram Fスコアを組み合わせることで、システムレベル評価で最先端の性能を達成し、WMT 2012–2014のデータセットにおいて文レベル相関でMETEORと同等の結果を達成する。

ABSTRACT

Most of the syntax-based metrics obtain the similarity by comparing the sub-structures extracted from the trees of hypothesis and reference. These sub-structures are defined by human and can't express all the information in the trees because of the limited length of sub-structures. In addition, the overlapped parts between these sub-structures are computed repeatedly. To avoid these problems, we propose a novel automatic evaluation metric based on dependency parsing model, with no need to define sub-structures by human. First, we train a dependency parsing model by the reference dependency tree. Then we generate the hypothesis dependency tree and the corresponding probability by the dependency parsing model. The quality of the hypothesis can be judged by this probability. In order to obtain the lexicon similarity, we also introduce the unigram F-score to the new metric. Experiment results show that the new metric gets the state-of-the-art performance on system level, and is comparable with METEOR on sentence level.

研究の動機と目的

• 構文に基づくMT評価指標が手動で定義された部分構造に依存するという限界を是正すること。これには、木構造の情報を完全に表現できないこと、重複する重複計算による問題が含まれる。
• 部分構造の比較ではなく、依存木の生成を通じて構文的類似性を自動的に評価する指標を開発すること。
• unigram Fスコアを用いて語彙的類似性を統合し、単語レベルのアライメントを捉える能力を強化すること。
• 複数のWMTベンチマークデータセットでシステムレベルMT評価において最先端の性能を達成すること。

提案手法

• 参照翻訳の依存木上で、最大エントロピーに基づくシフトリダクション依存解析器を学習し、遷移確率を推定する。
• 学習済みモデルを用いて仮説の依存木を生成し、その確率スコアを算出。このスコアが構文的類似性の指標として機能する。
• 確率推定の安定性を確保し、ゼロ確率を回避するため、ソフトマックスに類似した関数を用いて遷移スコアを正規化する。
• 仮説と参照の間の語彙的類似性を評価するため、unigram Fスコアを統合し、語彙的重複の感度を向上させる。
• 依存解析確率とFスコアを統合し、最終的な評価に用いるハイブリッド指標DPMFを構築する。
• 人間の判断と比較して文レベルの性能を評価するために、ケンダールのτ相関係数を用いる。

実験結果

リサーチクエスチョン

• RQ1 参照翻訳上で学習した依存解析モデルは、手動で定義された部分構造に依存せずに、仮説翻訳の構文的品質を効果的に評価できるか？
• RQ2 提案された解析ベースの指標は、BLEU、TER、METEORといった既存の指標と比較して、システムレベル評価でどの程度の性能を示すか？
• RQ3 unigram Fスコアの統合により、語彙的類似性の捉え方と人間の判断との相関性がどの程度向上するか？
• RQ4 提案されたDPMF指標は、複数のWMTベンチマークデータセットでシステムレベル評価において最先端の性能を達成するか？

主な発見

• DPMFはWMT 2012、WMT 2013、WMT 2014で、BLEU、TER、METEORを上回る最先端のシステムレベル相関を達成した。
• WMT 2012では、最良の単一指標であるSEMPOSより1.3ポイント向上し、最良のハイブリッド指標spede07_pPと同等の性能を示した。
• WMT 2013では、METEORより平均で2.3ポイント高い相関を達成し、fr-enを除く全言語対でそれを上回った。
• WMT 2014では、最良の単一指標VERTA-Wより1.4ポイント向上し、ハイブリッド指標DISCOTK-PARTYを上回った。
• 文レベル評価では、DPMFはWMTの3つのデータセットすべてでMETEORと同等の性能を示し、ベースのDPM指標よりも顕著な改善を示した。
• unigram FスコアのDPMFへの統合は、顕著な性能向上をもたらし、語彙的類似性を捉える有効性を裏付けた。