[論文レビュー] Confidence through Attention

Matīss Rikters, Mark Fishel|arXiv (Cornell University)|Oct 10, 2017

Natural Language Processing Techniques参考文献 18被引用数 20

ひとこと要約

この論文では、ニューラル機械翻訳（NMT）モデルのアテンション分布を信頼性指標として用い、翻訳品質を評価する手法を提案する。下訳、過剰訳、一致しないトークンといった不一致を定量化することで、翻訳フィルタリングおよびハイブリッドシステム選択の性能が向上し、英語–ドイツ語および英語–ラトビア語タスクにおいて、フィルタリングで最大2.22 BLEU、ハイブリッド選択で0.99 BLEUの向上を達成した。

ABSTRACT

Attention distributions of the generated translations are a useful bi-product of attention-based recurrent neural network translation models and can be treated as soft alignments between the input and output tokens. In this work, we use attention distributions as a confidence metric for output translations. We present two strategies of using the attention distributions: filtering out bad translations from a large back-translated corpus, and selecting the best translation in a hybrid setup of two different translation systems. While manual evaluation indicated only a weak correlation between our confidence score and human judgments, the use-cases showed improvements of up to 2.22 BLEU points for filtering and 0.99 points for hybrid translation, tested on EnglishGerman and EnglishLatvian translation.

研究の動機と目的

• 翻訳品質の代理指標としてアテンション分布を用いたNMT出力の信頼性指標の開発。
• 大規模なバックトランスレーションパイプラインにおける低品質翻訳の同定という課題に対処すること。
• アテンションに基づく信頼性を用いて、2つのNMTシステムの出力を最適に選択することでハイブリッド翻訳システムの性能を向上させること。
• 再トレーニングや追加の教師信号を必要としない、後処理的かつモデルに依存しない信頼性推定手法の提供。
• 信頼性指標が人間の判断とどの程度整合しているか、およびBLEUなどの自動指標とどの程度相関しているかの評価。

提案手法

• 下訳（入力トークンの欠落）、過剰訳（余分な出力トークン）、および一致しない入出力トークンを測定することで、アテンションに基づく信頼性スコアを定義する。
• 不一致を定量化するための3つの成分を計算する：CDP（カバレッジデバイアションペナルティ）、AP_in（入力トークンあたりの平均アテンション）、AP_out（出力トークンあたりの平均アテンション）。
• 信頼性スコアを用いて、バックトランスレーションパイプラインにおける低品質翻訳をフィルタリングする。具体的には、スコアが最悪の50%を破棄する。
• 信頼性スコアを用いて、2つのNMTシステム間のハイブリッド選択を実施し、信頼性スコアが高い方の出力を選ぶ。
• スコア付け、フィルタリング、ハイブリッド選択、アテンション一致の可視化を実装し、オープンソースで公開する。
• 200文の手動人間評価を実施し、信頼性ベースの選択と人間の好みの間で比較する。

実験結果

リサーチクエスチョン

• RQ1 NMTモデルのアテンション分布は、翻訳品質の信頼性指標として信頼できるか？
• RQ2 アテンションに基づく信頼性スコアは、低品質なバックトランスレーションされた翻訳のフィルタリングにどの程度効果的か？
• RQ3 BLEUスコア単独を使用する場合と比較して、信頼性スコアはハイブリッド翻訳選択をどの程度向上させるか？
• RQ4 信頼性スコアは人間の翻訳品質判断とどの程度相関しているか？
• RQ5 低リソース環境や品質が異なるシステムにおいて、信頼性スコアは効果的に利用可能か？

主な発見

• アテンションに基づく信頼性スコアは、英語–ドイツ語および英語–ラトビア語翻訳タスクにおいて、バックトランスレーションフィルタリングで最大2.22 BLEUポイントの向上を達成した。
• ハイブリッド翻訳選択において、この手法は0.99ポイントのBLEU向上を示し、2つのNMTシステムの出力を組み合わせる有効性を実証した。
• 信頼性スコアは人間の判断と中程度の相関を示し、4つの言語対について人間評価者と信頼性ベースの選択の間で、57%から62.5%の重複が確認された。
• 人間評価者では、BLEUスコアが低いシステムを、BLEUスコアが高いシステムよりも好む傾向が4つの翻訳方向のうち3つで観察された。これは、BLEU単独が品質の優れた代理指標ではないことを示している。
• 特にシステムの性能が類似している場合に、信頼性指標は単純なBLEUベースの選択を上回る性能を示した。
• システムの品質に著しい差がある場合でも、この手法は有効であるが、弱いシステムからの信頼性は誤解を招く可能性があるため、品質推定モデルとの統合が求められる。