[論文レビュー] NAM: Normalization-based Attention Module

Yichao Liu, Zongru Shao+2 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Neural Network Applications参考文献 10被引用数 7

ひとこと要約

本稿では、バッチ正規化のスケーリング係数を用いて重要度の低い特徴を抑制することで、モデルの効率性を向上させる軽量なアテンション機構、NAM（Normalization-based Attention Module）を提案する。これらのスケーリング係数に$l_1$正則化を適用することにより、FLOPsとパラメータ数が同等の条件下で、SE、BAM、CBAM、TAMよりも高い精度を達成する。

ABSTRACT

Recognizing less salient features is the key for model compression. However, it has not been investigated in the revolutionary attention mechanisms. In this work, we propose a novel normalization-based attention module (NAM), which suppresses less salient weights. It applies a weight sparsity penalty to the attention modules, thus, making them more computational efficient while retaining similar performance. A comparison with three other attention mechanisms on both Resnet and Mobilenet indicates that our method results in higher accuracy. Code for this paper can be publicly accessed at https://github.com/Christian-lyc/NAM.

研究の動機と目的

• 既存のアテンション機構が重みの寄与要因を十分に考慮していないことへの対処。
• 追加のレイヤーを追加せずに、重要度の低いチャネルおよび空間的特徴を抑制することで、モデルの効率性を向上させること。
• 最小限の計算オーバーヘッドで高い性能を維持する軽量なアテンションモジュールの開発。
• バッチ正規化の統計量をアテンション機構における特徴の重要度の代理として用いることの検討。

提案手法

• NAMは、SEやCBAMで用いられるMLPの代わりに、バッチ正規化のスケーリング係数$\gamma$をチャネル重要度の指標として使用する。
• チャネルアテンションサブモジュールは、$W_{\gamma} = \gamma_i / \sum_j \gamma_j$として、チャネル全体にわたって正規化された重みを計算する。
• 空間アテンションサブモジュールは、同じ原則を空間バッチ正規化を用いて適用し、$\lambda$を介してピクセルレベルの重要度を評価する。
• 損失関数に$\gamma$および$\lambda$に対する$l_1$ノルム正則化を適用することで、スパarsityを促進し、重要度の低い重みを抑制する。
• モジュールは残差ブロックに統合され、CBAMの順次的設計に従い、順次的にチャネルおよび空間アテンションを実装する。
• 本手法は追加の全結合層や畳み込み層を避けるため、SEやCBAMと比較してパラメータ数とFLOPsを削減する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化のスケーリング係数を、アテンション機構における重要度の低い特徴の特定と抑制に効果的に利用できるか？
• RQ2 SE、BAM、CBAM、TAMといった既存のアテンションモジュールと比較して、NAMの精度と効率性はどのように異なるか？
• RQ3 $\gamma$および$\lambda$のスケーリング係数に$l_1$正則化を適用することで、モデルのスパarsityと性能にどのような影響を与えるか？
• RQ4 NAMは、ResNet や MobileNet といった深層および軽量ネットワークにおいて、モデルの複雑さを低減しながらも高い性能を維持できるか？
• RQ5 チャネルのみ、空間のみ、または両方を組み合わせた統合戦略の違いが、NAMの最終的な精度と効率性に与える影響は何か？

主な発見

• CIFAR-100では、チャネルアテンションのみを用いたNAM(ch*)がトップ-1誤差19.09%を達成し、SE（20.29%）、BAM（19.97%）、CBAM（19.44%）、TAM（20.15%）を上回った。
• CIFAR-100では、空間アテンションのみを用いたNAM(sp*)がトップ-1誤差19.38%を記録し、SE、BAM、TAMを上回ったが、チャネルのみのバージョンよりわずかに低い性能であった。
• ImageNetでは、NAMをMobileNet V2に組み合わせた場合、トップ-1誤差が29.34%にまで低下し、FLOPsとパラメータ数がほぼ同等のSE（29.77%）、BAM（29.91%）、CBAM（29.74%）を上回った。
• NAMはパラメータ数の増加が最小限（CBAMの3.54M対NAMの3.51M）に抑えられ、より高い精度を達成したため、その効率性が裏付けられた。
• $\gamma$および$\lambda$に対する$l_1$正則化は、重要度の低い重みにおけるスパarsityを効果的に誘発し、一般化性能と効率性の向上に寄与した。
• アブレーションスタディにより、BNのスケーリング係数をアテンション重みとして使用することは、効果的かつ計算的にも効率的であることが確認され、追加のMLPや畳み込み層の必要性が回避された。