[論文レビュー] Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings

Junki Matsuo, Mamoru Komachi+1 more|arXiv (Cornell University)|Apr 2, 2017

Natural Language Processing Techniques参考文献 7被引用数 3

ひとこと要約

本稿では、単語埋め込みを用いて、平均、最大、ハンガリアンの3つのアライメント戦略を活用し、語のアライメントに基づくセグメントレベル機械翻訳評価を提案する。この手法は、先行する単語埋め込みベースの手法を上回り、ヨーロッパ語–英語データセットでは最大アライメント類似度が人間の相関性を最も高め、日本語–英語データセットでは平均アライメントが最も高い。

ABSTRACT

One of the most important problems in machine translation (MT) evaluation is to evaluate the similarity between translation hypotheses with different surface forms from the reference, especially at the segment level. We propose to use word embeddings to perform word alignment for segment-level MT evaluation. We performed experiments with three types of alignment methods using word embeddings. We evaluated our proposed methods with various translation datasets. Experimental results show that our proposed methods outperform previous word embeddings-based methods.

研究の動機と目的

• 表面的な形の違いが意味的同等性を隠すセグメントレベルMT評価の課題に対処する。
• n-gramマッチングや外部リソースに依存するのではなく、単語埋め込みによる意味的類似度を組み込むことで、BLEU や METEOR を改善する。
• 高価なアノテーションや複雑なモデルを避ける、軽量でコーパスベースの評価指標を開発する。
• 異なる言語対において、さまざまな語のアライメントヒューリスティクスがMT評価性能に与える影響を調査する。
• 人間の判断との相関性を最大化するために、アライメントしきい値とアライメント戦略を最適化する。

提案手法

• 仮説文と参照文の単語間のコサイン類似度を、事前学習済み word2vec 埋め込みを用いて計算する。
• 1:1（ハンガリアン）、1:n（最大）、m:n（平均）の3つの語のアライメントヒューリスティクスを用いて、文間の語をマッチングする。
• ノイズや低類似度の語のアライメントを除外するために、類似度しきい値（例：0.2）を導入する。
• アライメントされた語の類似度の平均または最大値に応じて、文レベルの類似度を計算する。
• アライメントタイプに応じた長さペナルティを適用し、仮説と参照の長さの差を補正する。
• 外部言語リソースを避けるために、単語埋め込みの学習にのみ、生の単語コーパス（Google News）を用いる。

実験結果

リサーチクエスチョン

• RQ1 語のアライメントに基づく文類似度（単語埋め込みを用いて）は、表面的なn-gramマッチングを超えて、セグメントレベルMT評価を改善できるか？
• RQ2 異なるアライメント戦略（平均、最大、1:1）は、多様な言語対において人間の判断との相関性にどのように影響するか？
• RQ3 低類似度アライメントのしきい値処理は、MT評価のロバスト性と相関性を向上させるか？
• RQ4 語彙的構造が単純（例：英語）な言語と複雑（例：日本語）な言語の間で、語のアライメントベースの指標の性能はどのように異なるか？
• RQ5 外部アノテーションなしで、軽量な埋め込みベースの指標が、BLEU や DREEM よりも高い人間相関性を達成できるか？

主な発見

• WMT15 ヨーロッパ語–英語データセットでは、最大アライメント類似度（MAS）が最高の Kendall’s τ 相関（0.373）を達成し、DREEM や BLEU を上回った。
• NTCIR8 日本語–英語データセットでは、平均アライメント類似度（AAS）が最高の相関（0.343）を達成し、語彙的に複雑な言語対においてより高いロバスト性を示した。
• WMT データセットでは、しきい値 0.2 が MAS の性能を最大にした。これは、アライメントフィルタリングの感受性を示している。
• ハンガリアン（1:1）アライメントは一貫して低い性能（例：WMT12 で τ = 0.106）を示し、過剰に制約を設けると効果が低下することが示唆された。
• AAS では高しきい値（0.6–0.9）を用いることで、日本語–英語データセット全体で安定した高い相関が得られ、低リソースまたは複雑な言語対において信頼性があることが示された。
• Czech–English を除く、すべてのヨーロッパ語–英語言語対で、DREEM よりも人間相関性が高く、意味的類似度モデリングの有効性が確認された。