[論文レビュー] Convolutional Self-Attention Networks

Baosong Yang, Longyue Wang+3 more|arXiv (Cornell University)|Apr 5, 2019

Topic Modeling参考文献 28被引用数 19

ひとこと要約

本稿では、自己注意機構における局所的依存関係や特徴の相互作用をモデル化するために1次元および2次元畳み込みを導入することで、パラメータを追加せずに自己注意機構を強化するパラメータフリーな手法である畳み込み自己注意ネットワーク（CSANs）を提案する。この手法は、複数の言語対において変換性能を向上させ、パラメータを増加させないまま、Transformerベースラインおよび既存の局所性強化モデルを上回る。

ABSTRACT

Self-attention networks (SANs) have drawn increasing interest due to their high parallelization in computation and flexibility in modeling dependencies. SANs can be further enhanced with multi-head attention by allowing the model to attend to information from different representation subspaces. In this work, we propose novel convolutional self-attention networks, which offer SANs the abilities to 1) strengthen dependencies among neighboring elements, and 2) model the interaction between features extracted by multiple attention heads. Experimental results of machine translation on different language pairs and model settings show that our approach outperforms both the strong Transformer baseline and other existing models on enhancing the locality of SANs. Comparing with prior studies, the proposed model is parameter free in terms of introducing no more parameters.

研究の動機と目的

• 自己注意ネットワークがグローバルな注目分布に起因して局所的依存関係やフレーズパターンを捉えきれないという制限を解消すること。
• 追加のパラメータを導入せずに、複数のマルチヘッド注意サブスペースで学習された特徴間の相互作用を可能にすること。
• 動的畳み込み注目メカニズムを用いて局所的文脈をモデル化することで、翻訳品質と学習効率を向上させること。
• 提案手法の普遍性と有効性を、多様な言語対およびモデルアーキテクチャにおいて検証すること。

提案手法

• 1次元畳み込みを導入して、注目範囲を隣接トークンの局所的ウィンドウに制限し、自己注意における局所的モデリングを強化する。
• トークン位置と注目ヘッドサブスペースの両方にわたる2次元畳み込みを適用し、隣接するヘッドからの特徴の動的相互作用を可能にする。
• パラメータフリーの畳み込みを用いて計算効率を維持し、モデルパラメータの増加を回避する。
• 標準的なマルチヘッド自己注意フレームワーク内に畳み込み注目メカニズムを統合し、標準的な注目計算を局所的かつヘッド間認識の操作に置き換える。
• 各クエリが固定サイズの局所的文脈にのみ注目するウィンドウベースの注目メカニズムを採用し、畳み込みカーネルサイズによって制御する。
• 注目計算中にヘッド間の特徴相互作用を可能にするために、(トークン位置, ヘッドインデックス) の2次元グリッド上で注目メカニズムを拡張する。

実験結果

リサーチクエスチョン

• RQ1 局所的注目モデリングは、系列モデリングタスクにおける自己注意ネットワークの性能向上に寄与するか？
• RQ2 ヘッド間の動的畳み込み相互作用は、独立したマルチヘッド注目を上回る特徴表現を向上させるか？
• RQ3 追加のトレーナブルパラメータを導入せずに、局所的モデリングを達成できるか？
• RQ4 翻訳品質と学習効率の観点から、既存の手法と比較して本手法はどのように差をつけるか？
• RQ5 本手法は、多様な言語対およびモデル構成において普遍的に有効であるか？

主な発見

• ウィンドウサイズが11の1次元畳み込み自己注意ネットワーク（1D-CSAN）が、WMT14 En→Deの検証セットで最も優れた性能を示し、他のウィンドウサイズを上回った。
• 2次元畳み込み自己注意ネットワーク（2D-CSAN）は、ヘッド間の特徴相互作用を可能にすることで翻訳品質をさらに向上させ、特にヘッド数が中程度のとき顕著であった。
• 提案手法は、WMT14 En→De、WMT17 Zh→En、WAT17 Ja→Enという3つの機械翻訳タスクにおいて一貫してBLEUスコアを向上させ、その普遍性を示した。
• ベース設定の2D-CSANは、より大きなTransformer-Bigモデルと同等の性能を達成しており、強力な効率性とスケーラビリティを示した。
• 本手法は、特に大きなn-gramに対してフレーズレベルの翻訳精度を向上させ、フレーズパターンの捉え込みの有効性を確認した。
• CNNベースの局所的注目や他のパラメータ増加型アプローチと比較して、本手法はパラメータフリーでありながらも優れた性能を示し、効率的であった。