[論文レビュー] Switchable Self-attention Module

Shanshan Zhong, Wushao Wen+1 more|arXiv (Cornell University)|Sep 13, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、入力特徴に基づいて複数のアテンション演算子（例：FC、CNN、IE）を動的に選択・統合するスイッチャブルエキサイトーションモジュール（SEM）を提案する。このSEMにより、畳み込みニューラルネットワークにおけるチャネルワイドな特徴再キャリブレーションが向上し、CIFAR-10およびCIFAR-100で最先端の性能を達成。ResNet362に比べてトップ1正解率が最大7.31%向上し、ネットワークの深さや状況に応じた優れた適応性と汎用性を示している。

ABSTRACT

Attention mechanism has gained great success in vision recognition. Many works are devoted to improving the effectiveness of attention mechanism, which finely design the structure of the attention operator. These works need lots of experiments to pick out the optimal settings when scenarios change, which consumes a lot of time and computational resources. In addition, a neural network often contains many network layers, and most studies often use the same attention module to enhance different network layers, which hinders the further improvement of the performance of the self-attention mechanism. To address the above problems, we propose a self-attention module SEM. Based on the input information of the attention module and alternative attention operators, SEM can automatically decide to select and integrate attention operators to compute attention maps. The effectiveness of SEM is demonstrated by extensive experiments on widely used benchmark datasets and popular self-attention networks.

研究の動機と目的

• すべてのネットワーク層に同じ固定されたアテンション演算子を使用するという制限を解消し、状況に応じた最適なパフォーマンスを実現する。
• 異なるネットワークの深さやデータセットに対して最適なアテンション構成を手動で探索する高コストかつ長時間の作業を回避する。
• 入力依存の基準に基づき、複数のエキサイトーション演算子（例：FC、ECA、IE）を自動的かつ動的に選択・統合することで、特徴再キャリブレーションを向上させる。
• 学習可能なスイッチング機構を導入し、正則化としての役割を果たすことで、モデルの汎用性を向上させ、過学習を低減する。
• 標準的なビジョンベンチマークで、深層および浅層のバックボーンネットワーク（ResNet47からResNet362まで）に対して一貫したパフォーマンス向上を示す。

提案手法

• 入力特徴マップを受け取り、事前に定義されたエキサイトーション演算子の集合（例：全結合層、1次元畳み込み、インスタンス強化）を並列に適用するスイッチャブルエキサイトーションモジュール（SEM）を設計する。
• 入力特徴に基づいて、異なる微分可能ゲーティング機構を用いた学習可能な意思決定モジュールにより、各エキサイトーション演算子のアテンション重みを計算する。
• 意思決定モジュールの出力にシグモイド活性化関数を適用し、各演算子の寄与度を示すソフトアテンション重みを生成する。
• 意思決定モジュールが動的に予測する重みに基づき、すべてのエキサイトーション演算子の出力を重み付き和で統合する。
• 意思決定モジュールが入力ごとに最も効果的な演算子の組み合わせを選択できるよう、ネットワーク全体をエンドツーエンドで訓練し、同時に最適化する。
• モジュラーかつプラグアンドプレイ設計を採用することで、アーキテクチャの変更なしに既存のCNNアーキテクチャに容易に組み込むことができる。

実験結果

リサーチクエスチョン

• RQ1 異なるネットワーク層が、同じ固定演算子を全層に適用するのではなく、異なる種類のエキサイトーション演算子から利益を得られるか？
• RQ2 動的選択メカニズムを用いて複数のエキサイトーション演算子を組み合わせることで、単一の演算子を使用する場合よりもパフォーマンスが向上するか？
• RQ3 提案されたスイッチャブル機構は、入力コンテンツやネットワークの深さに応じて、最も効果的な演算子（複数）を適応的に選択できるか？
• RQ4 動的スイッチング機構は正則化効果を提供し、特にデータが少ない状況下での過学習を低減するか？
• RQ5 異なるバックボーンの深さ（例：ResNet47からResNet362まで）およびデータセット（CIFAR-10、CIFAR-100）において、スイッチャブルモジュールのパフォーマンスはどのようにスケーリングするか？

主な発見

• ResNet362にSEMを適用した場合、CIFAR-100でトップ1正解率が2.00%上昇し、70.41%から77.72%に向上した。
• ResNet164では、CIFAR-10でトップ1正解率が1.72%向上、CIFAR-100では2.43%向上し、異なる深さにおいて一貫した向上を示した。
• エキサイトーション演算子の数（N）が増えるほどSEMのパフォーマンスが向上：CIFAR-100ではN=1の75.28%からN=3の76.76%に上昇した。
• 意思決定モジュールを削除（重みを1に固定）した場合、CIFAR-100でトップ1正解率が0.47%低下し、動的スイッチング機構の有効性が確認された。
• 意思決定モジュールでシグモイドを活性化関数として使用した場合、CIFAR-100で最高のパフォーマンス（76.76%）を達成した。ReLUやLeakyReLUは性能が低く、非線形関数の種類に敏感であることが示された。
• データオーグメンテーションを適用しない状況でも、SEMはCIFAR-10で89.58%のトップ1正解率を達成し、ResNet164（87.18%）やSENet（88.24%）を上回った。これは正則化効果を示唆している。