[論文レビュー] HUME: Human UCCA-Based Evaluation of Machine Translation

Alexandra Birch, Omri Abend+2 more|arXiv (Cornell University)|Jun 30, 2016

Natural Language Processing Techniques参考文献 21被引用数 8

ひとこと要約

HUME は、機械翻訳の翻訳品質を、元の文の意味的単位とその翻訳における対応する単位を比較することで評価する人間評価フレームワークであり、Universal Conceptual Cognitive Annotation (UCCA) 構造を用いる。4つの言語対で高いアノテーター間整合性と人間の適切性スコアとの強い相関を達成し、従来の文単位または n-gram に基づく指標とは異なり、意味論的根拠に基づく詳細な代替手段を提供する。

ABSTRACT

Human evaluation of machine translation normally uses sentence-level measures such as relative ranking or adequacy scales. However, these provide no insight into possible errors, and do not scale well with sentence length. We argue for a semantics-based evaluation, which captures what meaning components are retained in the MT output, thus providing a more fine-grained analysis of translation quality, and enabling the construction and tuning of semantics-based MT. We present a novel human semantic evaluation measure, Human UCCA-based MT Evaluation (HUME), building on the UCCA semantic representation scheme. HUME covers a wider range of semantic phenomena than previous methods and does not rely on semantic annotation of the potentially garbled MT output. We experiment with four language pairs, demonstrating HUME's broad applicability, and report good inter-annotator agreement rates and correlation with human adequacy scores.

研究の動機と目的

• 文単位の人間による MT 評価の限界、例えばスケーラビリティの低さやエラーの局所化の欠如を是正すること。
• 意味論に基づいた評価を提供し、保持された意味的コンポONENTを捉え、システム改善を的確に行えるようにすること。
• 機械翻訳出力に誤りがある可能性がある場合に、それらをアノテートすることを回避する人間評価手法を開発すること。
• 翻訳の参照文に依存するのを減らし、アノテーターにバイアスを及ぼすのを防ぎ、妥当性を制限するのを避けること。
• 元の文からの意味的単位を用いて、効率的で信頼性が高くスケーラブルな翻訳品質の人間評価を可能にすること。

提案手法

• HUME は UCCA の意味的表現スキームを用いて、元の文を動詞の目的語、名詞構造、話法的接続語などの意味的単位に分解する。
• アノテーターは、翻訳における各意味的単位の品質を、元の文と比較して評価するが、翻訳自体の意味的アノテーションは必要としない。
• 自動的な語レベルのアライメントをナビゲーション支援として用い、アノテーターが評価中に構造的不一致を心の中で是正できるようにする。
• PP 添付の解釈や動詞修飾語の違いによる構造的乖離に対しては罰則を課さないため、アライメントに基づく手法で生じる歪みを回避する。
• 翻訳と元の文を直接比較するため、翻訳の参照文を必要としない双語アノテーターによる評価が行われる。
• 信頼性と妥当性を検証するため、アノテーター間整合性と直接的な適切性スコアとの相関を測定する。

実験結果

リサーチクエスチョン

• RQ1 元の文からの意味的単位に基づく人間評価手法が、多様な言語対で高いアノテーター間整合性を達成できるか？
• RQ2 HUME は文単位の適切性スコアよりも、翻訳品質のエラー局所化とより詳細な洞察を提供できるか？
• RQ3 HUME はコピュラ節、名詞的目的語構造、話法的接続語などの意味的現象を、HMEANT よりも効果的に扱えるか？
• RQ4 HUME は、参照依存の評価手法と比較して、参照翻訳によるバイアスをどの程度低減できるか？
• RQ5 翻訳固有の意味的アノテーションを必要とせず、HUME を複数の言語対に効率的に適用できるか？

主な発見

• HUME は、英語–チェコ語、ドイツ語、ポーランド語、ルーマニア語の4つの言語対で高いアノテーター間整合性を達成し、アノテーションの信頼性を示した。
• 直接的な人間の適切性評価と強い相関を示し、品質の代理指標としての有効性が検証された。
• HMEANT が無視するコピュラ節（21.7% の文）、名詞的目的語構造（48.7%）、話法的接続語（56%）といった意味的現象を、HUME はより効果的に捉えた。
• 翻訳のアノテーションを回避し、元の文の意味的単位に依存することで、MT 出力における文法的・意味的誤りによる誤判断のリスクが低減された。
• 自動アライメントをナビゲーション支援として用い、アノテーターが心の中で不一致を是正することで、翻訳と参照の構造的乖離に起因する問題が緩和された。
• HUME の設計は、参照翻訳によるバイアスを回避するため、本来は罰則を受けるべき比喩的・直訳的でない翻訳の評価に適している。