[論文レビュー] Pay Less Attention with Lightweight and Dynamic Convolutions

Felix Wu, Angela Fan+3 more|arXiv (Cornell University)|Jan 29, 2019

Natural Language Processing Techniques被引用数 322

ひとこと要約

論文は自己注意の効率的な代替として軽量で動的な畳み込みを導入し、翻訳、言語モデリング、要約で競合するまたは優れた結果を達成し、実行時間が速い。

ABSTRACT

Self-attention is a useful mechanism to build generative models for language and images. It determines the importance of context elements by comparing each element to the current time step. In this paper, we show that a very lightweight convolution can perform competitively to the best reported self-attention results. Next, we introduce dynamic convolutions which are simpler and more efficient than self-attention. We predict separate convolution kernels based solely on the current time-step in order to determine the importance of context elements. The number of operations required by this approach scales linearly in the input length, whereas self-attention is quadratic. Experiments on large-scale machine translation, language modeling and abstractive summarization show that dynamic convolutions improve over strong self-attention models. On the WMT'14 English-German test set dynamic convolutions achieve a new state of the art of 29.7 BLEU.

研究の動機と目的

• 系列モデルにおける二次の自己注意への依存を減らす動機づけ。
• 深さ方向分離可能構造とsoftmax正規化された重みを用いた軽量畳み込みを提案する。
• 時刻ステップごとに特定のカーネルを生成する動的畳み込みを導入する。
• 自己注意のベースラインと比較するため、機械翻訳、言語モデリング、要約のタスクで評価する。

提案手法

• LightConvを開発する：深さ方向分離可能、softmax 正規化された重み共有畳み込みで、固定のコンテキストウィンドウで動作する。
• DynamicConvを導入する：現在の入力から生成される時刻ステップ依存のカーネルで、時間変化するコンテキスト重み付けを可能にする。
• LightConvまたはDynamicConvで自己注意を置換し、Transformer Bigに類似したエンコーダ-デコーダ構造でGLUベースのブロックと残差接続を使用する。
• 翻訳、言語モデリング、要約データセット全体で標準的なNLP目的とハイパーパラメータでトレーニングする。
• WMT En-De、WMT En-Fr、IWSLT De-En、WMT Zh-En、Billion word language modeling、CNN-DailyMail要約で評価する。

実験結果

リサーチクエスチョン

• RQ1 軽量で固定重みの畳み込みは、大規模翻訳ベンチマークで自己注意の性能に匹敵するか、それを超えられるか？
• RQ2 動的で時刻ステップ依存のカーネルは、固定の軽量畳み込みより追加の利得をもたらすか？
• RQ3 軽量および動的畳み込みは、精度を犠牲にせず自己注意より実行時に効率的か？
• RQ4 これらのアプローチは言語モデリングと要約タスクでよく一般化しますか？
• RQ5 長いシーケンスや大きな語彙に対してこれらの手法はどのようにスケールしますか？

主な発見

• LightConvはWMT En-DeとEn-Frで競争力のあるBLEUを達成し、En-Frでは0.1 BLEUだけ最先端に遅れる。
• DynamicConvはWMT En-Deで既知の最高結果を0.4 BLEU上回り、En-Frで最先端と同等。
• IWSLT De-EnとWMT Zh-Enでは、軽量および動的畳み込みは自己注意ベースラインを上回るか、同等である。
• DynamicConvは強力な自己注意ベースラインより約20%速い実行時間を実現し、精度を維持または向上させる。
• Billion Wordコーパスでの言語モデリングにおいて、DynamicConvは自己注意ベースラインと同等かそれ以上の性能を示す。
• CNN-DailyMail要約では、LightConvとDynamicConvは自己注意ベースラインを上回り、DynamicConvが最高のRougeスコアを達成。