[論文レビュー] BA-Net: Bridge Attention for Deep Convolutional Neural Networks

Yue Zhao, Junzhou Chen+2 more|arXiv (Cornell University)|Dec 8, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、バッチ正規化と全結合層を用いて、各残差ブロック内のすべての畳み込み層からの特徴を接続することで、深層畳み込みニューラルネットワーク（CNN）を強化する、BA-Netと呼ばれる新しいアテンション機構を提案する。直前の層に依存するのではなく、複数のレベルの特徴を統合することで、計算コストをほとんど増加させずに優れた性能を達成し、ResNet-50を用いたImageNet上でのトップ-1精度でSENetを0.71%上回る。

ABSTRACT

In recent years, channel attention mechanism has been widely investigated due to its great potential in improving the performance of deep convolutional neural networks (CNNs) in many vision tasks. However, in most of the existing methods, only the output of the adjacent convolution layer is fed into the attention layer for calculating the channel weights. Information from other convolution layers has been ignored. With these observations, a simple strategy, named Bridge Attention Net (BA-Net), is proposed in this paper for better performance with channel attention mechanisms. The core idea of this design is to bridge the outputs of the previous convolution layers through skip connections for channel weights generation. Based on our experiment and theory analysis, we find that features from previous layers also contribute to the weights significantly. The Comprehensive evaluation demonstrates that the proposed approach achieves state-of-the-art(SOTA) performance compared with the existing methods in accuracy and speed. which shows that Bridge Attention provides a new perspective on the design of neural network architectures with great potential in improving performance. The code is available at https://github.com/zhaoy376/Bridge-Attention.

研究の動機と目的

• 直前の畳み込み層のみに依存する既存のチャネルアテンション機構の限界を解消し、情報の最適利用を図ること。
• 残差ブロック内の初期層からの特徴を統合することで、アテンション重みの推定とモデル性能が向上するかを検証すること。
• 複雑さや推論コストを増加させることなく、既存のCNNアーキテクチャを強化できる、シンプルで効率的かつ汎用性の高いアテンションモジュールを設計すること。
• アテンション機構における異なる種類および距離の過去特徴の有効性を実験的に評価すること。
• 複数のビジョンタスクにわたって最先端の手法を上回る安定的かつ容易に導入可能なアテンションモジュールを提供すること。

提案手法

• 残差ブロック内の3つの畳み込み層からの特徴マップを連結し、グローバル平均プーリングと全結合層を適用する「ブリッジアテンションモジュール（BAM）」を提案する。
• 全結合層の後にバッチ正規化（BN）を適用し、学習の安定化と勾配の流れの改善を図る。
• 1次元畳み込みやチャネルシャッフルといった複雑な演算を避けるために、FCとBNのみを用いたシンプルで軽量な設計を採用する。
• 各残差ブロックの3番目の畳み込み層の後にBAMモジュールを適用し、SENetなどのモデルにおける標準的なアテンション層に置き換える。
• BAMをResNet-50などの既存アーキテクチャに最小限のアーキテクチャ的変更で統合する、残差学習フレームワークを採用する。
• ランダムフォレストモデルを用いて特徴の重要性を分析し、各中間特徴が最終的なアテンション重みに与える寄与度を定量化する。

実験結果

リサーチクエスチョン

• RQ1 残差ブロック内の複数の過去の畳み込み層からの特徴を統合することで、直前の層のみを使用する場合と比較して、チャネルアテンション性能が向上するか？
• RQ2 最適なブリッジ特徴の構成とは何か？具体的には、どの種類および距離の過去特徴が最高の性能をもたらすか？
• RQ3 各ブロック内でのすべての畳み込み出力を接続することで、標準的なアテンション機構と比較して、より多様で情報量の多いアテンション重みが得られるか？
• RQ4 初期の畳み込み層の特徴と直前の層の特徴とでは、アテンション重みの決定において、どちらがより寄与しているか？
• RQ5 FCとBNに基づくシンプルで軽量なアテンションモジュールが、計算コストを低く抑えながら最先端の性能を達成できるか？

主な発見

• FCとBNを用いて各残差ブロック内のすべての畳み込み出力を接続することで、最も高い性能が得られ、直前の層のみを使用する手法を顕著に上回る。
• BA-Netは、ResNet-50を用いたImageNet上でのトップ-1精度で、SENetを0.71%上回るが、モデルの複雑さと推論速度は同等である。
• BA-Netのアテンション重み分布は、深い段階でより高い分散を示しており、異なるクラス間での重要な特徴の識別がより良好であることを示している。
• 可視化結果から、BA-Netのアテンション重みは、特に後段の段階でSENetよりもクラス間で明確に区別されていることが明らかになり、特徴表現の向上が示唆される。
• ランダムフォレスト分析の結果、第2または第1畳み込み層からの特徴がアテンション重みに顕著な寄与をしており、場合によっては直前の層よりも寄与度が大きいことが判明した。
• 本手法は安定的かつ汎用的であり、画像分類、物体検出、インスタンスセグメンテーションの複数のタスクで一貫した性能向上を示した。