[論文レビュー] Improving Attention Mechanism with Query-Value Interaction

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 18被引用数 5

ひとこと要約

本稿では、クエリと値の間の直接的な相互作用をモデル化することで注意メカニズムを強化するQuery-Value Interaction (QVI)を提案する。要素ごとの相互作用とゲーティング機構を用いてクエリに依存する注意値を学習する。テキスト分類およびNERタスクにおける実験では、Transformer、BERT、CNN-LSTMアーキテクチャを含む複数のモデルで一貫した性能向上が得られ、クエリ-値相互作用を組み込むことで表現学習とモデルの正確性が向上することを示している。

ABSTRACT

Attention mechanism has played critical roles in various state-of-the-art NLP models such as Transformer and BERT. It can be formulated as a ternary function that maps the input queries, keys and values into an output by using a summation of values weighted by the attention weights derived from the interactions between queries and keys. Similar with query-key interactions, there is also inherent relatedness between queries and values, and incorporating query-value interactions has the potential to enhance the output by learning customized values according to the characteristics of queries. However, the query-value interactions are ignored by existing attention methods, which may be not optimal. In this paper, we propose to improve the existing attention mechanism by incorporating query-value interactions. We propose a query-value interaction function which can learn query-aware attention values, and combine them with the original values and attention weights to form the final output. Extensive experiments on four datasets for different tasks show that our approach can consistently improve the performance of many attention-based models by incorporating query-value interactions.

研究の動機と目的

• 既存の注意メカニズムが固有のクエリ-値関係を無視するという制限に対処すること。
• クエリと値の間の相互作用を明示的にモデル化することで、注意ベースのモデルの性能を向上させること。
• 学習可能なゲーティング機構を用いて元の値とクエリに依存する値を組み合わせることで、出力表現の正確性を向上させること。
• クエリ-値相互作用の有効性を多様なアーキテクチャおよびNLPタスクにわたって検証すること。

提案手法

• 学習可能な重み行列を用いて、クエリと値のベクトルの要素ごとの相互作用を計算する関数 $ g(\mathbf{Q}, \mathbf{V}) $ を提案する。
• 元の値 $ \mathbf{V} $ とクエリに依存する値 $ g(\mathbf{Q}, \mathbf{V}) $ を組み合わせるゲーティング機構を導入し、各成分の相対的重要性を学習する。
• 標準的な注意メカニズム $ \mathbf{O} = f(\mathbf{Q}, \mathbf{K})\mathbf{V} $ を $ \mathbf{O} = f(\mathbf{Q}, \mathbf{K}) \cdot \text{gating}(\mathbf{V}, g(\mathbf{Q}, \mathbf{V})) $ に変更する。ここで、注意重みはクエリ-キー相互作用から得られる。
• ベースの $ f(\mathbf{Q}, \mathbf{K}) $ としてドット積注意とスケーリングされたソフトマックスを採用する。一方、$ g(\mathbf{Q}, \mathbf{V}) $ は線形変換と要素ごとの乗算によって実装される。
• CNN、LSTM、HAN、Transformerを含む多様なモデルにQVIメカニズムを適用し、複数のNLPタスクにわたって評価する。

実験結果

リサーチクエスチョン

• RQ1 クエリ-値相互作用をモデル化することで、NLPタスクにおける注意ベースのモデルの性能が向上するか？
• RQ2 元の注意と比較して、クエリに依存する値を組み込むことで表現学習にどのような影響を与えるか？
• RQ3 最終出力における元の値とクエリ-値相互作用成分の相対的寄与度はどの程度か？
• RQ4 QVIメカニズムは異なるアーキテクチャおよびタスクに一般化可能か？

主な発見

• QVIメカニズムはAG News、Amazon、SIGHAN Bakeoff-3、Bakeoff-4の4つのベンチマークデータセットで一貫した性能向上を示した。
• AG Newsデータセットでは、Transformer-QVIが93.40 F1を達成し、標準的なTransformer（93.37 F1）を上回った。
• Amazonデータセットでは、Transformer-QVIが65.82 F1を達成し、標準的なTransformer（65.82 F1）を上回った。また、HAN-QVIは84.42から84.75 F1に向上した。
• SIGHAN Bakeoff-4データセットでは、CNN-Transformer-QVI-CRFが87.70 F1を達成し、CNN-Transformer-CRF（87.24 F1）を上回った。
• アブレーションスタディの結果、元の値と組み合わせずにクエリ-値相互作用のみを用いる場合、性能が劣ることが判明した。さらに、ゲーティング機構を導入することで性能が向上した。
• QVIメカニズムはCNN、LSTM、HAN、Transformerを含む多様なアーキテクチャで有効であることが示され、広範な適用可能性を示している。