[論文レビュー] Skyformer: Remodel Self-Attention with Gaussian Kernel and Nystr\\"om Method

Yifan Chen, Qi Zeng+2 more|arXiv (Cornell University)|Oct 29, 2021

Neural Networks and Applications参考文献 24被引用数 7

ひとこと要約

Skyformer は、自己注意機構における標準的なソフトマックスをガウスカーネルに置き換えることで、訓練の安定性を向上させるとともに、非正定値対称行列に対して修正されたニストローム法を用いて効率的な近似を可能にするカーネル化された注意メカニズムを提案する。この手法は、長距離アーリア（Long Range Arena）ベンチマークにおいて、計算コストを著しく削減しながらも、完全な自己注意と同等またはそれ以上の性能を達成し、収束の安定性が向上する。

ABSTRACT

Transformers are expensive to train due to the quadratic time and space complexity in the self-attention mechanism. On the other hand, although kernel machines suffer from the same computation bottleneck in pairwise dot products, several approximation schemes have been successfully incorporated to considerably reduce their computational cost without sacrificing too much accuracy. In this work, we leverage the computation methods for kernel machines to alleviate the high computational cost and introduce Skyformer, which replaces the softmax structure with a Gaussian kernel to stabilize the model training and adapts the Nystr\\"om method to a non-positive semidefinite matrix to accelerate the computation. We further conduct theoretical analysis by showing that the matrix approximation error of our proposed method is small in the spectral norm. Experiments on Long Range Arena benchmark show that the proposed method is sufficient in getting comparable or even better performance than the full self-attention while requiring fewer computation resources.

研究の動機と目的

• 変換器における標準的な自己注意の高い計算コストと訓練の不安定性を解決すること。
• カーネル手法を活用して、ソフトマックス構造をガウスカーネルに置き換えることで訓練の安定性を向上させること。
• 非正定値対称行列に適用可能なニストローム法を用いた、カーネル化された注意の効率的近似手法の開発。
• 提案手法の行列近似誤差のスペクトルノルムに関する理論的保証の提供。
• 長序列列タスクにおいて、リソース消費を削減しながらも、競争力のある性能を達成することの実証。

提案手法

• 訓練の安定性と数値的挙動の改善を目的として、標準的なソフトマックス注意をガウスカーネルに基づく注意メカニズムに置き換える。
• ニストローム法を変更して、カーネル化された注意行列をより大きな正定値対称行列に持ち上げ、低ランク近似を可能にする。
• ランダムスケッチを用いてカーネル行列の次元を低減し、計算を高速化しながらも精度を維持する。
• 理論的分析により、行列近似誤差のスペクトルノルムが小さいことが示され、近似品質に対する形式的保証が得られる。
• 自己注意計算における異なるクエリとキー行列から生じる非正定値対称（non-PSD）カーネル行列を処理するため、対称化技術を採用する。
• 長距離アーリアベンチマークにこの手法を適用し、多様な自然言語処理タスクにおける性能と効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己注意におけるソフトマックス構造をガウスカーネルに置き換えることで、訓練の安定性が向上し、ハイパーパrameterへの感受性が低下するか？
• RQ2 自己注意から生じる非正定値対称カーネル行列に対して、ニストローム法を効果的に適応できるか？
• RQ3 提案手法の近似誤差の理論的上限は、スペクトルノルムの観点でどの程度か？
• RQ4 提案手法は、計算コストとメモリ消費量を削減しながらも、標準的な自己注意と同等またはそれ以上の性能を達成できるか？
• RQ5 シーケンス長が増加するに従って、この手法はどのようにスケーリングするか？また、シーケンス長と近似効率との関係は何か？

主な発見

• 標準的な自己注意と比較して、テキスト分類およびドキュメント検索タスクで、Skyformer はほぼ 4 倍の高速化を達成し、訓練時間とメモリ使用量が削減された。
• テキスト分類タスクでは標準的な自己注意ベースライン比で 2.75% の精度向上、ドキュメント検索タスクでは 1.37% の精度向上を達成した。
• 異なるランダムシードでも Skyformer での訓練がより安定しており、収束失敗の頻度が低く、学習率の変更に対する感受性も小さい。
• 理論的分析により、Skyformer の行列近似誤差はスペクトルノルムにおいて小さいことが確認され、信頼性が裏付けられた。
• より長いシーケンスでは、カーネル行列の統計的次元がシーケンス長に対して相対的に小さくなるため、近似がより効果的である。
• 実験により、標準的な自己注意に対する直接的なニストローム近似は数値的不安定性を引き起こす一方で、カーネル化された注意バージョンでは訓練が安定化することが示された。