[論文レビュー] Attention is Not Only a Weight: Analyzing Transformers with Vector Norms

Goro Kobayashi, Tatsuki Kuribayashi+2 more|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 36被引用数 17

ひとこと要約

本稿では、従来の重みベースの注目解析に、変換された入力ベクトルのL2ノルムを組み込むことで、トランスフォーマーにおける注目メカニズムの解析を拡張するノルムベースの分析手法を提案する。この手法により、注目出力が注目重みとベクトルの大きさの両方に依存することを明らかにした。本手法により、BERTでは特別トークンの注目が過小評価されており、頻出語の寄与はノルム調節によって制御されていることが明らかになった。また、重みベースの手法に比べて、ニューラル機械翻訳（NMT）システムにおけるより正確な語のアライメント抽出が可能であることが示された。

ABSTRACT

Attention is a key component of Transformers, which have recently achieved considerable success in natural language processing. Hence, attention is being extensively studied to investigate various linguistic capabilities of Transformers, focusing on analyzing the parallels between attention weights and specific linguistic phenomena. This paper shows that attention weights alone are only one of the two factors that determine the output of attention and proposes a norm-based analysis that incorporates the second factor, the norm of the transformed input vectors. The findings of our norm-based analyses of BERT and a Transformer-based neural machine translation system include the following: (i) contrary to previous studies, BERT pays poor attention to special tokens, and (ii) reasonable word alignment can be extracted from attention mechanisms of Transformer. These findings provide insights into the inner workings of Transformers.

研究の動機と目的

• 注目重みの解析にのみ依存する従来の手法が、変換された入力ベクトルの大きさを無視するという限界を是正すること。
• 注目メカニズムの出力において、注目重みとベクトルノルムの両方を考慮するノルムベースの解析手法を提案すること。
• 特別トークンや頻出語のような言語的要素の処理方法について、より深い洞察を提供すること。
• トランスフォーマーに基づくNMTシステムにおけるソース・ターゲット注目から、注目重みのみに依存する手法よりも正確な語のアライメントを抽出できることを実証すること。

提案手法

• 注目メカニズム内の射影行列による変換後の値ベクトルのL2ノルムを評価するノルムベースの解析フレームワークを提案する。
• 各入力ベクトルに対して、値変換 $\boldsymbol{v}(\boldsymbol{x}_j) = \boldsymbol{x}_j \boldsymbol{W}^V + \boldsymbol{b}^V$ を適用した後のノルムを測定し、その寄与の大きさを評価する。
• 注目重みとベクトルノルムを統合して、統合寄与度指標を計算し、高重量でもノルムが小さいと実効寄与が相殺されることを明らかにする。
• BERTおよびトランスフォーマーに基づくNMTシステムに本手法を適用し、トークンレベルの注目ダイナミクスとアライメント品質の分析を行う。
• 標準的な重みベースの解析と比較することで、注目行動の認識に顕著な差異が生じることを特定する。
• 複数のモデルとタスクで再現性を確保するため、公開済みのコードを用いて結果の検証を行う。

実験結果

リサーチクエスチョン

• RQ1 変換された入力ベクトルのノルムは、トランスフォーマーにおける注目メカニズムの最終出力にどのように影響するか？
• RQ2 なぜ従来の重みベースの解析では、BERTにおける[SEP]のような特別トークンの真の寄与度を正しく表現できないのか？
• RQ3 ノルムベースの解析により、トランスフォーマーに基づくニューラル機械翻訳（NMT）システムにおける語のアライメント抽出品質を向上させられるか？
• RQ4 頻出で情報量の少ない語は、どの程度注目出力に影響を与え、その影響はどのように制御されているのか？
• RQ5 注目重みに加えて、変換されたベクトルの大きさを考慮することで、注目メカニズムはより良く解釈可能になるか？

主な発見

• BERTの注目メカニズムは、注目重みのみで評価すると注目が強いように見えるが、実際には[SEP]のような特別トークンに対しては、ノルムが小さいため、実効的な注目が著しく弱いことが判明した。
• 頻出で情報量の少ない語の注目への寄与は、単に注目重みによる制御ではなく、ノルム調節によって能動的に抑制されている。
• ノルムベースの解析により、注目重みだけでは不十分であることが明らかになった。高重量であっても、ノルムが小さいと実効寄与が相殺されることがある。
• トランスフォーマーに基づくNMTシステムでは、ノルムベースの注目を用いて抽出した語のアライメントが、注目重みのみから得られるものよりも正確である。
• 提案手法は、重みベースの解析よりも、特に真の情報寄与者を特定する際に、より洗練され、正確な注目行動の解釈を可能にする。
• 本手法は異なる入力長に対して堅牢であり、従来の手法が注目重みのバイナリ的キャンセルにのみ依存するという限界を回避している。