[論文レビュー] Exploring Self-attention for Image Recognition

Hengshuang Zhao, Jiaya Jia+1 more|arXiv (Cornell University)|Apr 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 33

ひとこと要約

この論文は、畳み込みの代替としてペアワイズとパッチワイズ自己注意を比較し、ImageNetスケールの画像認識においてベースラインの畳み込みと同等以上の性能を、ベクトルおよびパッチワイズ自己注意が計算量を抑えつつ実現し得ることを示している。

ABSTRACT

Recent work has shown that self-attention can serve as a basic building block for image recognition models. We explore variations of self-attention and assess their effectiveness for image recognition. We consider two forms of self-attention. One is pairwise self-attention, which generalizes standard dot-product attention and is fundamentally a set operator. The other is patchwise self-attention, which is strictly more powerful than convolution. Our pairwise self-attention networks match or outperform their convolutional counterparts, and the patchwise models substantially outperform the convolutional baselines. We also conduct experiments that probe the robustness of learned representations and conclude that self-attention networks may have significant benefits in terms of robustness and generalization.

研究の動機と目的

• 画像認識の構成要素として二つの自己注意形態（ペアワイズとパッチワイズ）を調査する。
• 自己注意が畳み込みネットワークと同等以上の精度、パラメータ、FLOPsを達成できるかを評価する。
• 自己注意で学習された表現の頑健性と一般化特性を検討する。

提案手法

• チャネル適応重みと位置エンコードを用いてペアワイズ自己注意を集合演算として Formalize する。
• 畳み込みよりも強力で、位置情報とチャンネルを考慮した重みを計算するパッチワイズ自己注意を導入する。
• 自己注意ブロックを線形特徴変換（ボトルネック層経由）と組み合わせて構築する。
• SAN アーキテクチャ（SAN10、SAN15、SAN19）を残差風ブロックと多段バックボーンで構築する。
• ImageNet 上でResNet ベースラインと比較し、top-1/top-5 精度、パラメータ、FLOPs を評価する。
• 関係関数、マッピング関数、フットプリントサイズ、位置エンコードのアブレーションを行い、設計選択を理解する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ自己注意は、同等のリソース下で畳み込みベースラインと同等かそれを超えるImageNet規模の精度を達成できるか？
• RQ2 パッチワイズ自己注意の変種は、畳み込みネットワークとそのパラメータ/ FLOP 予算を大きく上回るか？
• RQ3 異なる関係関数、マッピングアーキテクチャ、フットプリントサイズ、位置エンコードは性能と効率性にどのような影響を与えるか？
• RQ4 自己注意ネットワークは、純粋な畳み込みモデルと比較して頑健性と一般化能力を改善するか？

主な発見

Method	top-1	top-5	Params	Flops
Conv.-ResNet26	76.0	92.8	13.7M	2.4G
SAN10-pair.	74.9	92.1	10.5M	2.2G
SAN10-patch.	77.1	93.5	10.9M	1.7G
SAN15-pair.	76.6	93.1	54.5 (22.1)	77.1 (16.0)
SAN15-patch.	78.0	93.9	53.7 (24.5)	76.1 (17.8)
SAN19-pair.	76.9	93.4	54.7 (22.2)	77.1 (16.3)
SAN19-patch.	78.2	93.9	54.2 (24.0)	76.3 (17.6)

• ペアワイズ自己注意ネットワークは、同等以下または低いパラメータとFLOP予算で畳み込みの対になるモデルと同等またはそれを上回る。
• パッチワイズ自己注意モデルは畳み込みベースラインを大幅に上回り、SAN15 は ResNet50 と比較して top-1 精度 78% であり、パラメータと FLOP が少ない。
• ベクトル（多チャネル）注意は、制御実験においてスカラー注意よりも優れている。
• フットプリントサイズを大きくするほど、自己注意の精度は一般的に向上するが飽和し、パッチワイズ注意は固定カーネルサイズに依存しない強い利得を示す。
• 相対位置エンコードはエンコードなしと比べて性能を大幅に向上させる；絶対エンコードは無いよりも良い。
• パッチワイズ注意を用いた SAN モデルは、より大きな ResNet（例：SAN15 vs ResNet50）を上回りつつ、パラメータと計算量の効率性を保つ。
• 異なる変換関数（phi、psi、beta）と多層の注意マッピングは性能を向上させ、3つの異なる変換がしばしば最良の結果を生む。