[論文レビュー] Linear Complexity Randomized Self-attention Mechanism

Zheng Lin, Chong Wang+1 more|arXiv (Cornell University)|Apr 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、線形時間計算量の自己注意機構であるLinear Randomized Attention (LARA) を提案する。LARAは、無偏なランダム化注意（RA）推定器の表現力と、ランダム特徴近似の効率性を組み合わせたものである。RFAs（ランダム特徴注意）を自己正規化重要度サンプリングとして再解釈することで、より高精度な推定が可能となるRAを導出し、複数のクエリ依存の提案分布と複数重要度サンプリングを用いて一般化することで、線形計算量を維持しつつ、視覚、自然言語処理、動画処理の各タスクで既存手法を顕著に上回る性能を達成する。

ABSTRACT

Recently, random feature attentions (RFAs) are proposed to approximate the softmax attention in linear time and space complexity by linearizing the exponential kernel. In this paper, we first propose a novel perspective to understand the bias in such approximation by recasting RFAs as self-normalized importance samplers. This perspective further sheds light on an \emph{unbiased} estimator for the whole softmax attention, called randomized attention (RA). RA constructs positive random features via query-specific distributions and enjoys greatly improved approximation fidelity, albeit exhibiting quadratic complexity. By combining the expressiveness in RA and the efficiency in RFA, we develop a novel linear complexity self-attention mechanism called linear randomized attention (LARA). Extensive experiments across various domains demonstrate that RA and LARA significantly improve the performance of RFAs by a substantial margin.

研究の動機と目的

• 既存のランダム特徴注意（RFA）手法における近似バイアスを解消すること。これは、推定における自己正規化のため、ソフトマックス注意に偏っていることが原因である。
• RFAを自己正規化重要度サンプリングとして再解釈することで、クエリ固有の正のランダム特徴推定器を構築し、完全なソフトマックス注意の無偏推定器を構築すること。
• 無偏推定器（RA）の高い表現力とRFAの線形計算量を組み合わせ、新たな効率的な注意機構を構築すること。
• 多様な系列モデリングタスクで最先端の性能を達成しながら、線形時間および線形空間計算量を維持すること。

提案手法

• RFAを自己正規化重要度サンプリングとして再解釈することで、ソフトマックス注意を近似する際のバイアスの原因を特定する。
• クエリ固有の分布を用いて正のランダム特徴を構築する、無偏推定器「ランダム化注意（RA）」を提案する。これにより、近似精度が向上する。
• 複数のクエリ依存の提案分布を導入することで、重要度サンプリングフレームワークを一般化し、各分布をクエリのサブセットに特化させる。
• 複数の提案からの推定を適応的重み関数を用いて組み合わせ、クエリ固有の適合性を実現する。
• 重み関数におけるクエリに依存しない成分とクエリに依存する成分を分離することで、推定の効率性と正確性を向上させる。
• 各提案をガウス分布またはガウス混合分布でパラメータライズし、Transformerフレームワーク内でエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、無偏な指数カーネル推定が可能でも、既存のランダム特徴注意手法はソフトマックス注意の近似においてバイアスを示すのか？
• RQ2 近似を重要度サンプリングとして再解釈することで、完全なソフトマックス注意の無偏推定器を構築できるか？
• RQ3 RAの近似精度を向上させつつ、RFAの計算効率を維持できるか？
• RQ4 複数のクエリ依存の提案分布と適応的重み関数の影響は、注意機構の性能と計算量にどのような影響を与えるか？
• RQ5 提案手法は、多様なタスクで優れた性能を発揮しながらも、線形計算量を維持できるか？

主な発見

• RAはRFAよりも高い近似精度を達成し、標準的なソフトマックス注意と競合する性能を示す。LRAベンチマークでは5つのタスクのうち3つで上回り、平均トップ1正解率が59.30%を記録した。
• RAの線形計算量バージョンであるLARAは、LRAベンチマークで平均トップ1正解率59.12%を達成し、Performer（57.63%）および他のベースラインを全5タスクで上回った。
• DeiT-Tinyを用いたImageNet1kでは、LARAが71.48%のトップ1正解率を達成し、Performer（65.92%）および単一提案バージョン（68.42%）を顕著に上回った。
• アブレーションスタディの結果、複数の提案と分離された重み関数は、結合された対応形と比較して0.4%以上の正解率向上を示した。
• 提案分布のパラメータライズに単純なガウス分布を用いることで、より複雑なガウス混合分布と同等の性能が得られ、ロバスト性と効率性が示された。