[論文レビュー] Convolutional Self-Attention Network

Baosong Yang, Longyue Wang+3 more|arXiv (Cornell University)|Oct 31, 2018

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、追加のパラメータを追加せずに局所的隣接関係の依存関係を捉え、複数のアテンションヘッド間の相互作用をモデル化することで、自己注意ネットワークを強化する畳み込み自己注意ネットワーク（CSAN）を提案する。WMT14英語→ドイツ語翻訳タスクにおいて、CSANはトランスフォーマー基準モデルおよび自己注意の局所性を向上させることに注力した先行手法を上回る性能を発揮する。

ABSTRACT

Self-attention network (SAN) has recently attracted increasing interest due to its fully parallelized computation and flexibility in modeling dependencies. It can be further enhanced with multi-headed attention mechanism by allowing the model to jointly attend to information from different representation subspaces at different positions (Vaswani et al., 2017). In this work, we propose a novel convolutional self-attention network (CSAN), which offers SAN the abilities to 1) capture neighboring dependencies, and 2) model the interaction between multiple attention heads. Experimental results on WMT14 English-to-German translation task demonstrate that the proposed approach outperforms both the strong Transformer baseline and other existing works on enhancing the locality of SAN. Comparing with previous work, our model does not introduce any new parameters.

研究の動機と目的

• 自己注意ネットワークにおける局所的依存関係のモデリングを改善すること。これは通常、グローバルで非局所的な注意パターンに限定されている。
• 追加の学習可能なパラメータを導入せずに、自己注意メカニズムにおける複数のアテンションヘッド間の相互作用を可能にすること。
• 計算効率とパラメータ効率を維持しながら、自己注意ネットワークの表現能力を向上させること。
• 自己注意メカニズムに局所的インダクティブバイアスを統合することで、特にニューラル機械翻訳を含む系列モデリングタスクでより優れた性能を達成すること。

提案手法

• 隣接トークン間の局所的空間的依存関係を明示的にモデリングするために、畳み込みモジュールを自己注意メカニズムに統合する。
• スケールドドット積注意メカニズムを修正し、クエリ、キー、値表現に畳み込み操作を適用することで局所的文脈を統合する。
• 異なるヘッドからの特徴マップを連結し、共有畳み込み層を通過させることで、複数のアテンションヘッド間の相互作用を可能にする。
• 追加の線形変換やアテンションヘッドを避けることで、既存のパrameterを再利用し、元の自己注意メカニズムのパラメータ数を維持する。
• 計算効率を保ちながら注意空間内の局所的パターンを捉えるために、ディープワイド分離畳み込みを適用する。
• 訓練の安定化と勾配の流れの維持を図るため、残差接続構造を用いる。

実験結果

リサーチクエスチョン

• RQ1 追加のモデルパラメータを増加させずに、自己注意ネットワークに局所的インダクティブバイアスを効果的に統合できるか？
• RQ2 複数のアテンションヘッド間の相互作用をモデリングすることで、系列モデリングタスクにおける性能がどのように向上するか？
• RQ3 提案された畳み込み自己注意メカニズムは、標準の自己注意および既存の局所性強化バージョンを機械翻訳ベンチマークで上回るか？
• RQ4 畳み込み演算の統合が、注意メカニズムにおける系列的依存関係のモデリングをどの程度改善するか？

主な発見

• 提案されたCSANモデルは、標準のトランスフォーマー基準モデルと比較して、WMT14英語→ドイツ語翻訳タスクで優れた性能を達成した。
• 自己注意の局所性を向上させることを目的とした他の既存手法よりもCSANが優れており、局所的依存関係のモデリング能力が強化されていることが示された。
• モデルのパラメータ数は元のトランスフォーマーと同一であり、アーキテクチャ的パラメータの増加なしに性能向上が達成されたことを示している。
• 畳み込み演算の統合により、隣接トークン間の相互作用を捉えることで、注意パターンが向上し、より一貫性があり文脈的に正確な予測が得られた。