[論文レビュー] Time-aware Large Kernel Convolutions

Vasileios Lioutas, Yuhong Guo|arXiv (Cornell University)|Feb 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 16

ひとこと要約

この論文では、時間に応じて動的カーネルサイズを学習する新しいアダプティブ畳み込み手法であるTime-aware Large Kernel (TaLK)畳み込みを紹介している。和集合テーブル（ summed-area table）を用いて並列接頭和を計算することで、線形時間計算量O(n)を達成している。この手法は、自己注意機構や動的畳み込みと比較して高速かつメモリ効率が良く、機械翻訳、要約抽出、言語モデルのベンチマークで最先端の性能を達成している。

ABSTRACT

To date, most state-of-the-art sequence modeling architectures use attention to build generative models for language based tasks. Some of these models use all the available sequence tokens to generate an attention distribution which results in time complexity of $O(n^2)$. Alternatively, they utilize depthwise convolutions with softmax normalized kernels of size $k$ acting as a limited-window self-attention, resulting in time complexity of $O(k{\cdot}n)$. In this paper, we introduce Time-aware Large Kernel (TaLK) Convolutions, a novel adaptive convolution operation that learns to predict the size of a summation kernel instead of using a fixed-sized kernel matrix. This method yields a time complexity of $O(n)$, effectively making the sequence encoding process linear to the number of tokens. We evaluate the proposed method on large-scale standard machine translation, abstractive summarization and language modeling datasets and show that TaLK Convolutions constitute an efficient improvement over other attention/convolution based approaches.

研究の動機と目的

• シーケンスモデリングにおける自己注意機構の2次時間計算量O(n²)の問題を解決すること。
• 長文シーケンスのモデリングにおいて、計算およびメモリのオーバーヘッドを低減しつつ、高い性能を維持すること。
• 変換器や動的畳み込みの代替手段として、自己注意を排除し、線形時間計算量を持つ非自己回帰的アプローチを開発すること。
• 効率的なカーネルサイズ予測と和集合テーブルの計算により、長文シーケンスの推論および学習を高速化すること。
• パラメータ数とメモリ使用量を最小限に抑える一方で、標準的なNLPベンチマークで競争力あるか、あるいはそれを上回る結果を達成すること。

提案手法

• 固定カーネル重みを学習する代わりに、各タイムステップに対して左および右のカーネルオフセットを予測するアダプティブ畳み込みを導入する。
• 各トークンごとに有効なコンテキスト窓サイズを予測するための学習可能な関数を用い、可変な受容 field を実現する。
• 並列接頭和を用いてO(log n)時間で事前に和集合テーブル（積分画像）を計算し、任意のトークンスパンにおける範囲和クエリをO(1)時間で実行可能にする。
• 事前に計算された和集合テーブルを用いて、選択されたコンテキスト窓全体の重み付き和として最終表現を計算する。
• 訓練の安定化と固定カーネルサイズへの過学習を防ぐために、予測されたオフセットに出力正則化とドロップアウトを適用する。
• 各次元が独立したオフセット予測を学習できる、自己注意機構に類似したヘッド（最大H=512）を用い、後続でH=4に縮小することで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 畳み込み手法が、競争力のある性能を維持しながら、線形時間計算量O(n)を達成できるか？
• RQ2 固定カーネルではなく動的カーネル境界を学習することで、モデリング効率と長距離依存関係の捉え込みが向上するか？
• RQ3 並列接頭和を用いた和集合テーブルの使用が、自己注意や動的畳み込みと比較して、より高速かつメモリ効率の良いシーケンス符号化を可能にするか？
• RQ4 標準的なNLPベンチマークにおいて、自己注意機構や動的畳み込みと比較して、この手法の速度、メモリ使用量、性能はどのように異なるか？
• RQ5 ヘッド数、正則化、ドロップアウトなどのハイパーパrameterの選択は、訓練の安定化と性能向上に最も効果的か？

主な発見

• TaLK畳み込み手法はO(n)の時間計算量を達成しており、自己注意機構のO(n²)や動的畳み込みのO(k·n)と比べて顕著に高速である。
• シーケンス長n=10,000の場合、自己注意機構はメモリ不足で実行不能だったが、TaLK畳み込みは正常にシーケンスを処理できた。
• IWSLT De-En翻訳ベンチマークでは、新しい最先端のBLEUスコアを達成し、先行手法を上回った。
• CNN-DailyMail要約データセットでは、新しい最先端のROUGE-Lスコアを達成し、強力な要約抽出能力を示した。
• WikiText-103言語モデルベンチマークでは、動的畳み込みを上回り、自己注意モデルと同等の性能を達成した。
• 自己注意機構と比較して、最大4.5倍のメモリ使用量削減が達成され、特に長文シーケンスにおいて高いスループットを示した。