[論文レビュー] Evaluating Explanation Methods for Neural Machine Translation

Jierui Li, Lemao Liu+4 more|arXiv (Cornell University)|May 4, 2020

Topic Modeling参考文献 34被引用数 4

ひとこと要約

この論文は、ニューラル機械翻訳（NMT）の説明手法を評価するための忠実度ベースの指標を提案する。この指標は、説明手法によって抽出された最も関連性の高いソース語が、NMTモデルの予測行動をどの程度再構築できるかを測定する。本手法は人為的アノテーションを必要とせず、近似最適化アプローチを用いて忠実度を推定する。実験の結果、予測差分（Pd）が、6つの翻訳タスクにおいて、注目度、勾配ノルム、重み付き勾配手法よりも忠実度が優れていることが示された。

ABSTRACT

Recently many efforts have been devoted to interpreting the black-box NMT models, but little progress has been made on metrics to evaluate explanation methods. Word Alignment Error Rate can be used as such a metric that matches human understanding, however, it can not measure explanation methods on those target words that are not aligned to any source word. This paper thereby makes an initial attempt to evaluate explanation methods from an alternative viewpoint. To this end, it proposes a principled metric based on fidelity in regard to the predictive behavior of the NMT model. As the exact computation for this metric is intractable, we employ an efficient approach as its approximation. On six standard translation tasks, we quantitatively evaluate several explanation methods in terms of the proposed metric and we reveal some valuable findings for these explanation methods in our experiments.

研究の動機と目的

• ニューラル機械翻訳における説明手法を評価するための原理的で自動化された指標の欠如に対処すること。
• 人為的アノテートされたアライメントに依存せず、NMTモデルの予測行動に対する忠実度に基づいて説明手法を評価すること。
• すべてのターゲット語、特に人為的アノテーションにアライメントされていない語を含む、スケーラブルで近似に基づく忠実度推定手法を開発すること。
• 注目度、勾配ノルム、重み付き勾配、予測差分といった複数の説明手法を、NMTモデルの行動をどの程度反映できるかを定量的に比較すること。

提案手法

• NMTモデルの予測行動に対する忠実度の度合いを測る、原理的で明確な評価指標を提案：最も関連性の高いソース語に基づいて訓練された代理モデルが、NMTモデルの予測とどの程度一致するか。
• NMTモデルと代理モデルの期待される不一致を最小化する最適化問題として指標を定式化。
• 計算が困難な正確な計算を近似するために、2段階の機械学習戦略を用いる：経験的リスク最小化の後、保留されたテストセットでの検証。
• 各説明手法が特定した上位-k 個の関連語を用いて、異なるアーキテクチャの代理モデルを構築し、近似指標を計算。
• 統計的学習理論を用いて最適化問題を標準的な学習問題に再定式化し、効率的かつスケーラブルな評価を可能にする。
• モデルの一致度の代理としてパープレキシティを用い、低いパープレキシティが説明手法の忠実度が高いかを示す。

実験結果

リサーチクエスチョン

• RQ1 NMTの説明手法を、人為的アノテートされたアライメントではなく、モデルの予測行動に対する忠実度に基づいてどのように評価できるか。
• RQ2 人為的アライメントが存在しないターゲット語を含め、すべてのターゲット語に対して評価可能な指標を開発できるか。
• RQ3 注目度、勾配ノルム、重み付き勾配、予測差分といった異なる説明手法が、NMTモデルの行動に対する忠実度において、どのように比較できるか。
• RQ4 人為的アノテーションなしで、説明手法を比較するのに有効かつ信頼できる近似指標が提案されたものであるか。

主な発見

• 予測差分（Pd）手法が、評価されたすべての説明手法の中で最高の忠実度を達成し、注目度、勾配ノルム、重み付き勾配を上回った。
• 勾配ノルム（Ngrad）と予測差分（Pd）は両方とも優れた説明手法であり、PdはNMTモデルの予測を再構築する能力で顕著に優れていた。
• 提案された忠実度ベースの指標は、人為的語のアライメントが存在しないターゲット語に対しても、高品質な説明手法を的確に特定できた。これはAERが評価できない分野である。
• 提案指標（SA）による説明手法の順位付けは、3つの異なる翻訳タスクで一貫しており、AERとは異なり、タスク依存性が低かった。
• 評価結果から、忠実度は人為的判断やタスク固有の仮定に依存せず、信頼性が高く客観的な説明手法比較の指標であることが確認された。