[論文レビュー] PolaFormer: Polarity-aware Linear Attention for Vision Transformers

Weikang Meng, Yadan Luo+3 more|ArXiv.org|Jan 25, 2025

CCD and CMOS Imaging Sensors被引用数 3

ひとこと要約

PolaFormer は Vision Transformers のための極性認識型線形アテンションを導入し、負のクエリ-キー相互作用を回復し、アテンションエントロピーを低減して、視覚タスク全般の精度と効率を向上させる。

ABSTRACT

Linear attention has emerged as a promising alternative to softmax-based attention, leveraging kernelized feature maps to reduce complexity from quadratic to linear in sequence length. However, the non-negative constraint on feature maps and the relaxed exponential function used in approximation lead to significant information loss compared to the original query-key dot products, resulting in less discriminative attention maps with higher entropy. To address the missing interactions driven by negative values in query-key pairs, we propose a polarity-aware linear attention mechanism that explicitly models both same-signed and opposite-signed query-key interactions, ensuring comprehensive coverage of relational information. Furthermore, to restore the spiky properties of attention maps, we provide a theoretical analysis proving the existence of a class of element-wise functions (with positive first and second derivatives) that can reduce entropy in the attention distribution. For simplicity, and recognizing the distinct contributions of each dimension, we employ a learnable power function for rescaling, allowing strong and weak attention signals to be effectively separated. Extensive experiments demonstrate that the proposed PolaFormer improves performance on various vision tasks, enhancing both expressiveness and efficiency by up to 4.6%.

研究の動機と目的

• 非負の線形アテンションの限界と softmax ベースのアテンションに比べた情報損失を動機づける。
• 同符号および反対符号のクエリ-キー相互作用を明示的にモデリングする極性認識メカニズムを開発する。
• シャープでスパイキーなアテンションを softmax に近い形で回復しつつ、線形計算量を維持する学習可能なチャネルごとのパワーリスケーリングを導入する。
• 提案手法が視覚ベンチマーク全般で表現力と効率を向上させるという理論的・経験的証拠を提供する。

提案手法

• クエリとキーを正と負の成分に分解して、同符号および反対符号の相互作用を回復する。
• 学習可能な係数 Gs と Go を用いた二経路の極性認識アテンションを計算し、同符号・反対符号の類似度を混合する。
• 値ベクトルをチャネル次元に沿って分割し、追加パラメータなしで同符号および反対符号の応答を扱う。
• 特徴を再スケールする学習可能な次元ごとのパワー関数 p を導入し、エントロピーを低減して鋭いアテンションピークを保持する。
• アテンションマップの正の配列のエントロピーを低減する正の一次導関数および二次導関数を持つ関数が存在するという理論的結果を提供する。
• ベンチマークに対する実験的な効率向上と、基準手法に対する線形時間計算量 Omega = 5Nd^2 + 4Ndd' + k^2Nd + Nd を示す。

実験結果

リサーチクエスチョン

• RQ1 極性認識型線形アテンションは、負の成分を含むクエリ-キーの全ての相互作用を既存の線形アテンション手法と比較してどのように捉えるのか。
• RQ2 学習可能な次元ごとのパワーリスケーリングはエントロピーを低減し、softmax ラインの鋭さに近づけつつ線形計算量を維持できるのか。
• RQ3 極性認識機構は標準的な視覚ベンチマーク（分類、検出、セマンティックセグメンテーション）および長距離タスクの性能を改善するのか。
• RQ4 極性係数および補助畳み込みが表現能力と効率に与える影響はどの程度か。

主な発見

Method	Reso	Params	FLOPs	Acc.
DeiT	224^2	5.7M	1.1G	72.2
DeiT-EfficientAttn	224^2	5.7M	1.1G	70.2
DeiT-HydraAttn	224^2	5.7M	1.1G	68.3
DeiT-EnhancedAttn	224^2	5.8M	1.1G	72.9
DeiT-AngularAttn	224^2	5.7M	1.1G	70.8
DeiT-FLattenAttn	224^2	6.1M	1.1G	74.1
DeiT-MobiAttn	224^2	5.7M	1.2G	73.3
DeiT-PolaFormer	224^2	6.1M	1.2G	74.6 +2.4
Swin	224^2	29M	4.4G	81.2
Swin-HydraAttn	224^2	29M	4.5G	80.7
Swin-EfficientAttn	224^2	29M	4.5G	81.0
Swin-LinearAngularAttn	224^2	29M	4.5G	79.4
Swin-EnhancedAttn	224^2	29M	4.5G	81.8
Swin-FLattenAttn	224^2	29M	4.5G	82.1
Swin-PolaFormer	224^2	29M	4.5G	82.6 +1.4

• PolaFormer は視覚タスク上でベースラインに対して最大 4.6% の精度/効率向上を達成する。
• ImageNet-1K では PolaFormer の変種は多くの DeiT および Swin のベースラインを、計算量が同等で上回る。
• 極性認識係数 Gs および Go は アブレーション実験で約 1.8% の性能向上を示し、同符号と反対符号の相互作用を補完的に扱うことを示唆する。
• 正の一次導関数と二次導関数を持つ関数がアテンションマップの正の配列のエントロピーを低減し、鋭いアテンションを説明できることを理論的に示す。
• チャネルごとの学習可能なパワー関数は、線形計算量を維持しつつ鋭いアテンションを効果的に保持する。
• PolaFormer の変種（PolaFormer on PVT/Swin バックボーン）は、検出とセマンティックセグメンテーションにおいて modest な FLOP 増加で顕著な改善をもたらす。