[論文レビュー] Sentence Level Human Translation Quality Estimation with Attention-based Neural Networks

Yu Yuan, Serge Sharoff|arXiv (Cornell University)|Mar 13, 2020

Natural Language Processing Techniques参考文献 25被引用数 6

ひとこと要約

本稿では、品質評価に必要な翻訳対照文書を必要としない、参照フリーで詳細な人間翻訳品質評価（HTQE）のためのエンド・ツー・エンド型アテンションベースのニューラルネットワークを提案する。クロスアテンションを活用して関連するソース・ターゲット文ペアを特定し、品質評価に用いる。本モデルは、4つの品質要因において人間の判断と相関をとる特徴ベース手法よりも0.22以上優れている。手動による特徴工学を必要とせず、優れた性能を示している。

ABSTRACT

This paper explores the use of Deep Learning methods for automatic estimation of quality of human translations. Automatic estimation can provide useful feedback for translation teaching, examination and quality control. Conventional methods for solving this task rely on manually engineered features and external knowledge. This paper presents an end-to-end neural model without feature engineering, incorporating a cross attention mechanism to detect which parts in sentence pairs are most relevant for assessing quality. Another contribution concerns of prediction of fine-grained scores for measuring different aspects of translation quality. Empirical results on a large human annotated dataset show that the neural model outperforms feature-based methods significantly. The dataset and the tools are available.

研究の動機と目的

• 手動による特徴設計に依存しない、自動的で人間翻訳品質評価のためのエンド・ツー・エンド型ニューラルモデルの開発を目的とする。
• 品質判断に必要な関連するソース・ターゲット文の部分を特定する重み付きクロスアテンション機構を組み込むことで、HTQEの精度を向上させることを目的とする。
• 粗い判断ではなく、複数の側面（例：流暢さ、適切さ）にわたる詳細な品質スコアを予測することを目的とする。
• 特に参照フリーな設定において、自動HTQEに関する先行研究が限られているという課題に対処することを目的とする。
• 教育・資格認定・品質管理用途におけるエキスパートによる人間評価の代替手段として、スケーラブルで一貫性があり低コストな代替案を提供することを目的とする。

提案手法

• モデルは、学習済み埋め込みを用いてソース文とターゲット文を別々に符号化する、二重エンコーダー型トランスフォーマー構造を採用する。
• 重み付きクロスアテンション機構により、ソース文とターゲット文間の関連する部分を動的にアライメントし、二言語間の品質関連情報を捉える。
• アテンションを適用した表現はプーリングされ、複数次元にわたる詳細な品質スコアを予測する回帰ヘッドに送られる。
• 予測スコアと人間がアノテートした品質スコアの差を最小化するように、平均二乗誤差損失を用いてエンド・ツー・エンドで学習する。
• 外部の言語学的特徴や並列参照文に依存しないため、参照フリーな予測が可能である。
• 大規模でエキスパートがアノテートした英語・中国語翻訳データセット（文単位の詳細な品質アノテーション付き）を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 クロスアテンションを備えたニューラルネットワークは、参照フリーな人間翻訳品質評価において、従来の特徴ベース手法を上回ることができるか？
• RQ2 エンド・ツー・エンド型ニューラルモデルは、手作業による特徴設計なしに、詳細な品質側面（例：流暢さ、適切さ）をどの程度正確に予測できるか？
• RQ3 アテンション機構は、品質判断に必要な関連するソース・ターゲット文のセグメントをどの程度効果的に特定できるか？
• RQ4 ベースライン手法と比較して、本モデルは多様な品質次元において安定した性能を維持できるか？
• RQ5 翻訳教育や資格試験などの実世界の応用に、本モデルは一般化可能か？

主な発見

• 提案されたニューラルモデルは、人間の判断と0.82の相関を示し、4つの品質要因において特徴ベースのベースラインを0.22以上上回った。
• 本モデルは、流暢さ、適切さ、語彙的正確性、自然さという4つの品質次元すべてで安定した性能を示し、タスク固有の特徴チューニングを必要としなかった。
• アテンション機構により、誤訳された慣用句や省略された修飾語など、関連するソース・ターゲットセグメントが効果的に特定され、局所的な品質検出が向上した。
• ベースラインニューラルネットワークおよび2つの特徴ベース手法よりも本モデルが優れており、アテンションを用いたエンド・ツー・エンド学習の利点を確認した。
• データセットとコードは、許可の緩いライセンスのもとで公開されており、再現性およびHTQE分野におけるさらなる研究を可能にしている。
• 初期のBERT実験では性能向上が得られず、多言語事前学習がより大きなデータ量やより洗練されたアライメント機構を必要とすることが示唆された。