[論文レビュー] An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation

Gongbo Tang, Rico Sennrich+1 more|arXiv (Cornell University)|Oct 17, 2018

Natural Language Processing Techniques参考文献 13被引用数 4

ひとこと要約

本論文は、ニューラル機械翻訳（NMT）におけるエンコーダー・デコーダー注意メカニズムが、曖昧な名詞の意味あいまい性解消（WSD）をどのように処理するかを調査する。予想に反して、注意メカニズムは文脈トークンよりも曖昧語自身に優先的に注目する傾向を示しており、WSDのための文脈情報は主に注意分布ではなく隠れ状態にエンコードされていることを示している。研究では、Transformerモデルが初期層でアライメントを学習し、後続の層でアラインされていない文脈特徴を抽出することを明らかにした。

ABSTRACT

Recent work has shown that the encoder-decoder attention mechanisms in neural machine translation (NMT) are different from the word alignment in statistical machine translation. In this paper, we focus on analyzing encoder-decoder attention mechanisms, in the case of word sense disambiguation (WSD) in NMT models. We hypothesize that attention mechanisms pay more attention to context tokens when translating ambiguous words. We explore the attention distribution patterns when translating ambiguous nouns. Counter-intuitively, we find that attention mechanisms are likely to distribute more attention to the ambiguous noun itself rather than context tokens, in comparison to other nouns. We conclude that attention mechanism is not the main mechanism used by NMT models to incorporate contextual information for WSD. The experimental results suggest that NMT models learn to encode contextual information necessary for WSD in the encoder hidden states. For the attention mechanism in Transformer models, we reveal that the first few layers gradually learn to "align" source and target tokens and the last few layers learn to extract features from the related but unaligned context tokens.

研究の動機と目的

• NMTモデルにおける注意メカニズムが、曖昧語を翻訳する際、非曖昧語と比較して文脈トークンにより多くの注目を向けるかどうかを調査すること。
• NMTにおけるヴァニラ1層注意とマルチヘッド自己注意の動作を、WSDの文脈で比較すること。
• 対照的スコアリングを避けて、実際のテストセットを用いて曖昧な名詞の翻訳品質を評価すること。
• 注意重みがWSDの正確性と相関しているかどうか、およびデータスパarsityが誤りに与える影響を特定すること。
• エンコーダー隠れ状態と注意メカニズムのどちらが、意味あいまい性解消のための文脈情報を主にエンコードしているかを理解すること。

提案手法

• 本研究は、ContraWSDテストセットを用いてWSDのパフォーマンスを評価し、対照的ペアではなく、曖昧な名詞の翻訳そのものを直接評価する。
• 2つのNMTアーキテクチャを比較：1層注意を備えた標準的なRNNベースのモデルと、マルチヘッド注意を備えたTransformerモデル。
• 注意分布を層ごとに分析し、アライメントからアラインされていない文脈トークンへの注目へとどのように変化するかを追跡する。
• さまざまな注意範囲における、曖昧語への注意重みとWSD正確性の相関関係を検討する。
• 訓練データにおける語の意味の絶対頻度および相対頻度を用いて、誤りの分布を分析し、データスパarsityの影響を評価する。
• 特にTransformerにおいて、層ごとの注意パターンの可視化を含み、アライメントの学習と文脈特徴抽出の進行を追跡する。

実験結果

リサーチクエスチョン

• RQ1 NMTモデルにおける注意メカニズムは、曖昧語を翻訳する際、非曖昧語と比較して文脈トークンにより多くの注目を向けるか？
• RQ2 ヴァニラ1層注意とTransformerモデルにおける注意分布は、WSDの文脈でどのように異なるか？
• RQ3 曖昧語への高い注意重みとWSD正確性の向上には相関があるか？
• RQ4 データスパarsityおよび低頻度の意味が、NMTにおける誤った翻訳にどの程度寄与しているか？
• RQ5 エンコーダー隠れ状態と注意メカニズムのどちらが、意味あいまい性解消に必要な文脈情報を主にエンコードしているか？

主な発見

• RNNではWSD正確度が約80.2%、Transformerでは85.5%であり、データスパarsityが誤りの主な要因である。
• 注意メカニズムは一貫して文脈トークンよりも曖昧語自身に高い重みを割り当てており、文脈が優先されるという仮説とは矛盾する。
• Transformerの最初の数層では、源言語と標的言語のトークンをアライメントする能力が学習されるが、後続の層では関連するがアラインされていない文脈トークンに注目する。
• 曖昧語への高い注意重みは、高いWSD正確度と相関しており、注意重みの大きさが意味あいまい性解消の信頼性を反映している可能性を示唆する。
• 低頻度の意味に対しても高い注意が向けられても、モデルは依然として誤った翻訳を生成するため、データスパarsityがパフォーマンスに深刻な影響を与えることが確認された。
• エンコーダー隠れ状態が、NMTモデルにおけるWSDのための文脈情報の主な担い手であり、注意メカニズムではない。