[論文レビュー] SCSA: Exploring the Synergistic Effects Between Spatial and Channel Attention

Yunzhong Si, Huiying Xu+5 more|arXiv (Cornell University)|Jul 6, 2024

Human-Automation Interaction and Safety被引用数 8

ひとこと要約

SCSA は、Shareable Multi-Semantic Spatial Attention (SMSA) と Progressive Channel-wise Self-Attention (PCSA) を組み合わせた、プラグアンドプレー型の空間-チャネル協調アテンションモジュールを導入し、多意味空間事前情報を活用してチャネル学習を導くことで、分類・検出・分割の性能を向上させます。

ABSTRACT

Channel and spatial attentions have respectively brought significant improvements in extracting feature dependencies and spatial structure relations for various downstream vision tasks. While their combination is more beneficial for leveraging their individual strengths, the synergy between channel and spatial attentions has not been fully explored, lacking in fully harness the synergistic potential of multi-semantic information for feature guidance and mitigation of semantic disparities. Our study attempts to reveal the synergistic relationship between spatial and channel attention at multiple semantic levels, proposing a novel Spatial and Channel Synergistic Attention module (SCSA). Our SCSA consists of two parts: the Shareable Multi-Semantic Spatial Attention (SMSA) and the Progressive Channel-wise Self-Attention (PCSA). SMSA integrates multi-semantic information and utilizes a progressive compression strategy to inject discriminative spatial priors into PCSA's channel self-attention, effectively guiding channel recalibration. Additionally, the robust feature interactions based on the self-attention mechanism in PCSA further mitigate the disparities in multi-semantic information among different sub-features within SMSA. We conduct extensive experiments on seven benchmark datasets, including classification on ImageNet-1K, object detection on MSCOCO 2017, segmentation on ADE20K, and four other complex scene detection datasets. Our results demonstrate that our proposed SCSA not only surpasses the current state-of-the-art attention but also exhibits enhanced generalization capabilities across various task scenarios. The code and models are available at: https://github.com/HZAI-ZJNU/SCSA.

研究の動機と目的

• 空間情報がどのようにチャネルアテンションを導き、複数意味特徴表現間の意味的差異を緩和するためにチャネルアテンションを強化できるかを調査する。
• パラメータ数と計算量を削減するために、空間計算とチャネル計算を分解する軽量でプラグアンドプレー型のアテンションモジュールを開発する。
• 提案手法SCSAの分類・検出・分割のベンチマークにおける汎化性と有効性を実証する。

提案手法

• 多尺度で深さ共有の1D畳み込みとグループ正規化を用いて、空間的サブ特徴に入力特徴を分解し、意味的区別を保持する。
• GNベースの正規化とシグモイド活性化を用いて、サブ特徴間で多意味空間情報を統合して空間事前情報を生成するためにSMSAを導入する。
• SMSAの事前情報に導かれたチャネル間関係を計算するため、チャンネル次元に沿って動作する進行的圧縮とチャネルごとの自己注意を備えたPCSAを提案する。
• SMSAとPCSAを直列構成で統合してSCSAを形成する: SCSA(X) = PCSA(SMSA(X)).
• ImageNet-1Kによる分類、MS COCO 2017による物体検出とインスタンス分割、ADE20Kによるセマンティック分割でSCSAを評価し、最先端のアテンションモジュールと比較する。

実験結果

リサーチクエスチョン

• RQ1 多意味情報に基づく空間アテンションは、チャネルアテンションの学習を改善し、サブ特徴間の意味的差異を緩和できるか。
• RQ2 軽量で段階的に圧縮されるチャネル自己注意（PCSA）は、空間事前情報を効果的に活用して特徴の再校正を強化できるか。
• RQ3 SCSAは、既存のアテンション機構と比較して、分類・検出・分割といった多様な視覚タスクとデータセットでどのように性能を発揮するか？

主な発見

• SCSAは、ImageNet-1KのResNet-50/101およびMobileNetV2-1.0全体でTop-1精度を一貫して向上させ、他のアテンションモジュールを上回る。
• SCSAはADE20Kのセグメンテーションでより高いmIoUを、MS COCOの物体検出/インスタンス分割で競合手法より高いAPを、いくつかの設定で達成する。
• アブレーション研究は、SMSAが精度を大幅に向上させ、PCSAの進行的圧縮が空間事前情報を低コストで保持し、直列配置（SMSAを先にPCSA）で有利であることを示す。
• GNベース正規化は、BNと比較して意味干渉を減らし、空間事前情報の活用を改善する。
• SCSAは複数のバックボーンモデルとタスクで性能を改善し、精度と効率のトレードオフにも有利な強い汎化性を示す。