[論文レビュー] Saliency-driven Word Alignment Interpretation for Neural Machine Translation

Shuoyang Ding, Hainan Xu+1 more|arXiv (Cornell University)|Jun 25, 2019

Natural Language Processing Techniques参考文献 41被引用数 9

ひとこと要約

本稿では、類似度とSmoothGradを用いたモデルに依存しない、パラメータフリーの手法を提案し、ニューラル機械翻訳（NMT）モデルにおける単語アライメントの解釈を行う。注意重みのみでは不十分なアライメントが得られることを示し、注意ベースのベースラインと比較して10–20点低いアライメント誤差率（AER）を達成し、fast-alignを最大8.7ポイント上回る。FConv や Transformer といったNMTモデルは、アーキテクチャ的・訓練的変更なしに、解釈可能なアライメントを暗黙的に学習していることが明らかになった。

ABSTRACT

Despite their original goal to jointly learn to align and translate, Neural Machine Translation (NMT) models, especially Transformer, are often perceived as not learning interpretable word alignments. In this paper, we show that NMT models do learn interpretable word alignments, which could only be revealed with proper interpretation methods. We propose a series of such methods that are model-agnostic, are able to be applied either offline or online, and do not require parameter update or architectural change. We show that under the force decoding setup, the alignments induced by our interpretation method are of better quality than fast-align for some systems, and when performing free decoding, they agree well with the alignments induced by automatic alignment tools.

研究の動機と目的

• 特に、注意メカニズムを備えながらも、しばしば不透明とされるTransformerを含むNMTモデルにおける解釈可能な単語アライメント解釈の欠如に対処すること。
• モデルのアーキテクチャの変更や再訓練を必要とせず、高品質な単語アライメントを抽出する手法を開発すること。
• NMTモデルが、明示的なアライメント学習がなくても、解釈可能なアライメントを暗黙的に学習しているかどうかを評価すること。
• 制約付きデコードや翻訳支援翻訳の文脈で適用可能な、スケーラブルでオンライン対応可能な解釈手法を提供すること。

提案手法

• 本手法は、勾配に基づく類似度、特にSmoothGradを用いて、エンコーダーとデコーダーの隠れ状態間の単語レベルの重要度スコアを計算する。
• 入力にガウスノイズを追加し、複数回の順方向伝搬における勾配の平均をとることでノイズを低減し、安定性を向上させる。
• 最終的なアライメントは、各ターゲット語に対して類似度スコアが最大となるソース語を選択することで得られ、ハードアライメントマップが生成される。
• 本手法はオフライン（翻訳終了後）およびオンライン（デコード中）の両方の設定に適用可能であり、リアルタイムシステムへの応用を可能にする。
• 本手法はモデルに依存せず、NMTモデルのパrameterの更新やアーキテクチャの変更を一切必要としない。
• 評価は、固定生成順序のフォースデコードと動的生成の自由デコードの両設定で実施され、アテンションとfast-alignとのアライメント品質を比較する。

実験結果

リサーチクエスチョン

• RQ1 類似度駆動の解釈手法は、NMTモデルにおける注意重みよりも優れた単語アライメントを生成できるか？
• RQ2 FConv や Transformer といったNMTモデルは、明示的なアライメント学習がなくても、解釈可能な単語アライメントを暗黙的に学習しているか？
• RQ3 モデルに依存しない、パrameterフリーの解釈手法は、fast-alignのような外部ツールを上回るアライメント品質を達成できるか？
• RQ4 フォースデコードとフリー・デコードの設定における、類似度駆動アライメントの品質にどのような差が生じるか？
• RQ5 SmoothGradにおけるノイズ分散とスムージングの影響が、アライメントの分散性と解釈可能性に与える影響はどの程度か？

主な発見

• 類似度駆動手法は、複数のNMTモデルにおいて、注意ベースのアライメント解釈と比較して、アライメント誤差率（AER）を10–20ポイント低減した。
• 本手法は、特にフリー・デコード設定において、fast-alignを最大8.7ポイント上回った。
• アーキテクチャ的・訓練的変更なしに、FConv や Transformer モデルは、fast-alignと同等の品質のアライメントを暗黙的に学習していることが示された。
• エントロピーで測定されるアライメント分散は、類似度の方が注意よりも低く、より集中的かつ安定したアライメントであることを示している。
• フォースデコード設定ではややノイズが多いが、アライメント品質に与える影響は最小限にとどまる。
• ノイズ分散（σ）を増加させたSmoothGradでは、アライメント分散が増加することが確認され、本手法がスムージングパrameterに敏感であることが裏付けられた。