[論文レビュー] Context-Aware Self-Attention Networks

Baosong Yang, Jian Li+4 more|arXiv (Cornell University)|Feb 15, 2019

Topic Modeling参考文献 60被引用数 27

ひとこと要約

本稿では、グローバルおよびディープな文脈表現をクエリおよびキー変換に統合することで自己注意機構を強化する、文脈に配慮した自己注意ネットワーク（CASAN）を提案する。外部リソースに依存せずに機械翻訳タスクにおける性能を向上させる。WMT14およびWMT17ベンチマークで一貫してBLEUスコアを向上させつつ、計算効率を維持する。

ABSTRACT

Self-attention model have shown its flexibility in parallel computation and the effectiveness on modeling both long- and short-term dependencies. However, it calculates the dependencies between representations without considering the contextual information, which have proven useful for modeling dependencies among neural representations in various natural language tasks. In this work, we focus on improving self-attention networks through capturing the richness of context. To maintain the simplicity and flexibility of the self-attention networks, we propose to contextualize the transformations of the query and key layers, which are used to calculates the relevance between elements. Specifically, we leverage the internal representations that embed both global and deep contexts, thus avoid relying on external resources. Experimental results on WMT14 English-German and WMT17 Chinese-English translation tasks demonstrate the effectiveness and universality of the proposed methods. Furthermore, we conducted extensive analyses to quantity how the context vectors participate in the self-attention model.

研究の動機と目的

• 入力トークンを独立したエンティティとして扱うという制限を解消するため、クエリおよびキー変換に文脈情報を統合することで自己注意ネットワークの性能を向上させること。
• 標準的な自己注意のシンプルさと並列計算の利点を維持しつつ、長距離および短距離の依存関係をよりよくモデル化すること。
• 外部リソースに代わる内部表現（グローバルおよびディープな文脈）を用いて文脈の豊かさを向上させること。
• 異なる文脈タイプ（グローバル、ディープ、ディープ-グローバル）が注意計算に与える影響およびその相乗効果を実証的に検証すること。
• 文脈情報が注意機構における異なる種類の語（例：機能語対コンテンツ語）にどのように影響を与えるかを分析すること。

提案手法

• モデルの内部表現から得られる文脈ベクトルを組み込むことで、文脈に配慮したクエリおよびキー変換を導入する。
• 全系列の情報を要約するグローバル・コンテキスト・ベクトルを、隠れ状態のグローバルプーリングによって計算する。
• 複数層のネットワークからの表現を集約することで、句構造的および意味的構造を捉えるディープ・コンテキスト・ベクトルを活用する。
• グローバルおよびディープ・コンテキストを組み合わせてディープ-グローバル・コンテキスト・ベクトルを生成し、広範かつ詳細な文脈情報を活用する。
• 文脈ベクトルを用いてクエリおよびキー変換行列を再重み付けし、コアとなる自己注意計算を変更せずに注意機構を強化する。
• 標準的なドット積注意メカニズムを維持するが、文脈に配慮した線形変換を用いてクエリおよびキー投影を強化する。

実験結果

リサーチクエスチョン

• RQ1 内部のグローバルおよびディープな文脈表現を統合することで、シーケンスモデリングタスクにおける自己注意ネットワークの性能が向上するか？
• RQ2 異なる種類の文脈（グローバル、ディープ、ディープ-グローバル）が注意計算およびモデル性能に与える影響は何か？
• RQ3 グローバルおよびディープ・コンテキストの間には、注意機構の強化において相乗効果があるか？
• RQ4 機能語とコンテンツ語は、注意計算における文脈情報の恩恵を異なる程度に受けるか？
• RQ5 外部リソースや顕著な速度低下なしに、文脈に配慮した自己注意を効率的に実装できるか？

主な発見

• 提案された文脈に配慮した自己注意モデルは、WMT14英語-ドイツ語およびWMT17中国語-英語翻訳タスクの両方で、標準的なトランスフォーマー基準より一貫して優れた性能を示す。
• グローバル・コンテキスト戦略は20語を超える長い文で性能向上を示すが、ディープ・コンテキスト戦略は短い文で優れている。これは相補的な強みを示している。
• ディープ-グローバル・コンテキストのバリエーションが最高の全体的なBLEUスコアを達成し、両方のコンテキストタイプの組み合わせによる利点を実証した。
• 広範な分析から、機能語はコンテンツ語よりもより多くの文脈情報を必要とし、モデルが文脈に配慮した注意によりそれに適応することが明らかになった。
• ベースラインと比較してわずかな速度低下しか発生しないため、その効率性と実用性が確認された。
• この研究は、深い多層トランスフォーマーでも残差接続だけではグローバル・コンテキストが完全に捉えられていないことを確認し、明示的なコンテキストモデリングの必要性を裏付けた。