[論文レビュー] Attentive Convolution

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Oct 2, 2017

Topic Modeling被引用数 10

ひとこと要約

本稿では、注意メカニズムを畳み込み演算に直接統合することで、遠く離れたまたは外部のテキストからの非局所的文脈を拡張する、新しい注意付き畳み込みネットワークATTCONVを提案する。畳み込みの後にプーリングを行うのではなく、注意と畳み込みを統合することにより、ATTCONVは、ゼロ、単一、複数の文脈を含むNLPタスクにおいて、注意付きプーリングや競争力のあるRNNベースのモデルを凌駕する優れた文の表現学習を達成する。

ABSTRACT

In NLP, convolutional neural networks (CNNs) have benefited less than recurrent neural networks (RNNs) from attention mechanisms. We hypothesize that this is because the attention in CNNs has been mainly implemented as attentive pooling (i.e., it is applied to pooling) rather than as attentive convolution (i.e., it is integrated into convolution). Convolution is the differentiator of CNNs in that it can powerfully model the higher-level representation of a word by taking into account its local fixed-size context in the input text t^x. In this work, we propose an attentive convolution network, ATTCONV. It extends the context scope of the convolution operation, deriving higher-level features for a word not only from local context, but also information extracted from nonlocal context by the attention mechanism commonly used in RNNs. This nonlocal context can come (i) from parts of the input text t^x that are distant or (ii) from extra (i.e., external) contexts t^y. Experiments on sentence modeling with zero-context (sentiment analysis), single-context (textual entailment) and multiple-context (claim verification) demonstrate the effectiveness of ATTCONV in sentence representation learning with the incorporation of context. In particular, attentive convolution outperforms attentive pooling and is a strong competitor to popular attentive RNNs.

研究の動機と目的

• CNNにおける注意メカニズムの有効性がRNNに比べて限定的であるという問題に対処すること。
• 畳み込み演算に直接注意を統合する（畳み込み後に適用するのではなく）ことで、表現学習が向上するかどうかを調査すること。
• 注意を用いて非局所的情報を統合することで、CNNの局所的受容 field を超えて文脈の範囲を拡張すること。
• ATTCONVの性能を、ゼロ、単一、複数の文脈を含む多様なNLPタスクで評価すること。
• 注意付き畳み込みが、注意付きプーリングや注意付きRNNと同等またはそれを上回ることを示すこと。

提案手法

• ATTCONVは、標準的な畳み込みを、入力トークンから得られるクエリ、キー、バリューのベクトルを用いて重み付き特徴を計算する注意付き畳み込み機構に置き換える。
• 注意メカニズムは、遠く離れたまたは外部のテキストに対して文脈に適した重みを計算し、特徴抽出中に非局所的情報に注目できるようにする。
• これらの注意強化特徴を畳み込み演算に統合することで、固定サイズの局所ウィンドウを超えた動的文脈拡張が可能になる。
• 複数の文脈タイプをサポートする：ゼロ文脈（例：センチメント分析）、単一文脈（例：テキスト的含意）、複数文脈（例：主張検証）。
• CNNの局所的パターン学習に対するインダクティブバイアスを維持すると同時に、注意によるグローバル文脈認識でそれを補完する。
• 文の表現学習タスクにおいて、文脈の有無が異なる状況で、エンドツーエンドで評価される。

実験結果

リサーチクエスチョン

• RQ1 畳み込み演算に直接注意を統合することで、CNNにおける文の表現学習が向上するか？
• RQ2 注意付き畳み込みは、文レベルの表現をモデル化する際に、注意付きプーリングと比べてどのように異なるか？
• RQ3 文脈の可用性が異なるタスクにおいて、ATTCONVは注意付きRNNを上回るか、同等の性能を発揮するか？
• RQ4 ATTCONVは、ゼロ、単一、複数の文脈を含むNLPタスクにおいて、非局所的または外部の文脈を効果的に活用できるか？
• RQ5 遠く離れたまたは外部のソースからの非局所的文脈が、ATTCONVにおける最終的表現に果たす寄与度は何か？

主な発見

• ATTCONVは、評価されたすべてのタスクで注意付きプーリングを上回り、畳み込みに注意を統合する方が、畳み込み後に適用するよりも優れていることを示している。
• 特に長距離または外部文脈統合を要するタスクにおいて、最先端の注意付きRNNと同等の性能を達成している。
• 複数の文脈を含む主張検証タスクでは、ATTCONVは外部証拠を効果的に活用し、複雑な推論シナリオにおいても頑健であることが示された。
• 注意を用いた非局所的文脈の統合は、特にゼロ文脈および単一文脈の設定において、表現品質の向上に顕著に寄与している。
• ATTCONVはCNNの局所的パターン検出のインダクティブバイアスを維持しながら、注意を用いて文脈範囲を拡張しており、一般化性能の向上に寄与している。
• アブレーションスタディにより、性能向上の主な要因は注意付き畳み込み機構そのものであり、畳み込み後に注意を適用するだけのものではないことが確認された。