[論文レビュー] SA-Net: Shuffle Attention for Deep Convolutional Neural Networks

Qinglong Yang|arXiv (Cornell University)|Jan 30, 2021

Advanced Neural Network Applications参考文献 25被引用数 26

ひとこと要約

SA-Net は、グループ化された特徴部分空間内でチャネルと空間注意を融合する軽量な Shuffle Attention モジュールを導入し、CNN ベースのバックボーン全体でパラメータと FLOPs のオーバーヘッドを最小限に抑えつつ精度を向上させます。

ABSTRACT

Attention mechanisms, which enable a neural network to accurately focus on all the relevant elements of the input, have become an essential component to improve the performance of deep neural networks. There are mainly two attention mechanisms widely used in computer vision studies, extit{spatial attention} and extit{channel attention}, which aim to capture the pixel-level pairwise relationship and channel dependency, respectively. Although fusing them together may achieve better performance than their individual implementations, it will inevitably increase the computational overhead. In this paper, we propose an efficient Shuffle Attention (SA) module to address this issue, which adopts Shuffle Units to combine two types of attention mechanisms effectively. Specifically, SA first groups channel dimensions into multiple sub-features before processing them in parallel. Then, for each sub-feature, SA utilizes a Shuffle Unit to depict feature dependencies in both spatial and channel dimensions. After that, all sub-features are aggregated and a "channel shuffle" operator is adopted to enable information communication between different sub-features. The proposed SA module is efficient yet effective, e.g., the parameters and computations of SA against the backbone ResNet50 are 300 vs. 25.56M and 2.76e-3 GFLOPs vs. 4.12 GFLOPs, respectively, and the performance boost is more than 1.34% in terms of Top-1 accuracy. Extensive experimental results on common-used benchmarks, including ImageNet-1k for classification, MS COCO for object detection, and instance segmentation, demonstrate that the proposed SA outperforms the current SOTA methods significantly by achieving higher accuracy while having lower model complexity. The code and models are available at https://github.com/wofmanaf/SA-Net.

研究の動機と目的

• 重い計算を伴わず、空間注意とチャネル注意の効率的な統合を動機づける。
• 情報の交換のためにグループ化された特徴処理とチャネルシャッフルを用いた軽量な SA モジュールを設計する。
• タスク全体で最小限のパラメータ/ FLOP オーバーヘッドで SA が CNN の性能を向上させることを示す。
• ImageNet-1k、MS COCO のオブジェクト検出およびインスタンス分割で SA-Net の利得を示す。

提案手法

• チャネル次元を G 個のサブ特徴にグループ化し、並行処理する。
• 各サブ特徴ごとに、チャネルと空間注意ブランチを統合する Shuffle Unit を適用する。
• チャネル注意はグローバル平均プーリングとコンパクトなゲーティングを用いて特徴を再調整する。
• 空間注意は Group Norm を用いて空間統計を生成し、コンパクトなゲーティングを適用する。
• サブ特徴を統合し、クロスグループ通信を可能にするためにチャネルシャッフルを適用する。
• SE ブロックを置換して SA-Net を形成することで、CNN バックボーンに SA を統合する。

Fig. 1 : Comparisons of recently SOTA attention models on ImageNet-1k, including SENet, CBAM, ECA-Net, SGE-Net, and SA-Net, using ResNets as backbones, in terms of accuracy, network parameters, and GFLOPs. The size of circles indicates the GFLOPs. Clearly, the proposed SA-Net achieves higher accurac

実験結果

リサーチクエスチョン

• RQ1 軽量な空間・チャネル注意の統合は、同等または低いモデル複雑さで既存の注意モジュールを上回ることができるか？
• RQ2 グループ化された特徴処理とチャネルシャッフルは、表現力を高めるための効果的なクロスグループ情報交換を可能にするか？
• RQ3 最先端の注意ブロックと比べて、SA-Net は ImageNet-1k の分類および COCO のオブジェクト検出/インスタンス分割でどのように性能を発揮するか？

主な発見

• ResNet-50 で ImageNet-1k、SA-Net は Top-1 77.724%、Top-5 93.798%、パラメータ 25.557M、GFLOPs 4.125 で、いくつかのベースラインを上回る。
• ResNet-50 で、SA-Net は ベースラインより Top-1 精度を 1.34 ポイント、Top-5 を 0.89 ポイント向上させ、同程度の複雑さの最先端注意法より一般的に上回る。
• ResNet-101 では、SA-Net は ベースラインより Top-1 が 0.76%、Top-5 が 0.59% 改善。
• MS COCO のオブジェクト検出では、SE より SA が AP 指標を改善。例として、ResNet-50 を用いた Faster R-CNN は AP50:95 が 2.3 ポイント増、AP S/M/L の向上、RetinaNet も同様の利得を示す; ResNet-101 では検出器によって AP50:95 が 2.2–2.5 ポイント増加。
• SA は Mask R-CNN のインスタンス分割指標も SE より改善し、小型オブジェクトで顕著な利得を示す。
• アブレーション研究は、Group Norm が必須であること、チャネルシャッフルが限定的な利得をもたらすこと、F_c(·) が性能を大幅に向上させることを示す。

Fig. 2 : An overview of the proposed SA module. It adopts “channel split” to process the sub-features of each group in parallel. For channel attention branch, using GAP to generate channel-wise statistics, then use a pair of parameters to scale and shift the channel vector. For spatial attention bra