[論文レビュー] Channel Locality Block: A Variant of Squeeze-and-Excitation

Huayu Li|arXiv (Cornell University)|Jan 6, 2019

Advanced Neural Network Applications参考文献 16被引用数 5

ひとこと要約

本論文では、Squeeze-and-Excitation (SE) ブロックの変種として、チャネル局在性（C-Local）ブロックを提案する。このブロックは、グローバルな全結合層の代わりに1次元畳み込み層を用いることで、グローバルなチャネル依存関係ではなく、局所的なチャネル相関をモデル化する。CIFAR-10 における実験では、C-Local は SE を上回り、標準的な CNN で 90.8% の精度を達成し、変更を加えた ResNet では 88.3% を記録した。これにより、局所的なチャネル注目を用いることで性能が向上することが示された。

ABSTRACT

Attention mechanism is a hot spot in deep learning field. Using channel attention model is an effective method for improving the performance of the convolutional neural network. Squeeze-and-Excitation block takes advantage of the channel dependence, selectively emphasizing the important channels and compressing the relatively useless channel. In this paper, we proposed a variant of SE block based on channel locality. Instead of using full connection layers to explore the global channel dependence, we adopt convolutional layers to learn the correlation between the nearby channels. We term this new algorithm Channel Locality(C-Local) block. We evaluate SE block and C-Local block by applying them to different CNNs architectures on cifar-10 dataset. We observed that our C-Local block got higher accuracy than SE block did.

研究の動機と目的

• チャネルワイドな特徴相関が、畳み込みニューラルネットワーク（CNN）における空間的局在性と同様に局在性を示すかどうかを調査すること。
• グローバルなチャネル依存関係ではなく、近隣のチャネルに注目することで、チャネル注目メカニズムを改善すること。
• モデルの複雑さを増加させずに、軽量で即座に統合可能なモジュールを開発すること。
• CIFAR-10 などの標準ベンチマーク上で、局所的チャネル注目の有効性を検証すること。
• グローバル結合を低減し、局所的特徴再スケーリングによって表現能力を向上させるSEブロックの代替案を提供すること。

提案手法

• SEブロック内のグローバル平均プーリングおよび全結合層を1次元畳み込み層に置き換え、隣接するチャネル間の相関を学習する。
• 空間次元を圧縮し、チャネルワイドなグローバル記述子を生成するために、グローバル平均プーリングを適用する。
• 2×1 および 1×1 のカーネルサイズを有する1次元畳み込み層を用い、隣接する特徴チャネル間の局所的チャネル依存関係を学習する。
• CNNの各畳み込み層の後にC-Localブロックをスタックし、エンドツーエンド学習を可能にするとともに、既存アーキテクチャへの容易な統合を実現する。
• 局所的チャネル相関スコアに基づいて特徴マップをスケーリングするための学習可能な重みを適用し、チャネル特徴の動的再スケーリングを可能にする。
• 1つの1次元フィルタを用いて隣接するチャネル間の関係を明示的にモデル化することで、全チャネル注目と比較してパラメータの結合を低減する。

実験結果

リサーチクエスチョン

• RQ1 チャネルワイドな特徴相関は、畳み込みニューラルネットワーク（CNN）における空間的局在性と同様に局在性を示すか？
• RQ2 グローバルなチャネル注目メカニズムと比較して、局所的チャネル依存関係をモデル化することで性能が向上するか？
• RQ3 1次元畳み込み層は、チャネルワイドな注目を学習する際に、全結合層よりも効果的か？
• RQ4 C-Localブロックは、アーキテクチャの変更なしに、さまざまなCNNアーキテクチャに効果的に統合できるか？
• RQ5 局所的注目によるグローバルなチャネル結合の低減は、画像分類タスクにおける一般化性能および精度の向上に寄与するか？

主な発見

• 標準的なCNNに適用したC-Localブロックは、CIFAR-10テストセットでトップ-1精度90.8%を達成し、ベースラインモデル（88.7%）およびSEブロック（89.4%）を上回った。
• 変更を加えたResNetアーキテクチャでは、C-Localブロックが88.3%の精度を達成したのに対し、ベースラインは86.7%、SEブロックは87.4%であった。
• C-Localブロックは、複数のネットワークアーキテクチャにわたり一貫した性能向上を示し、汎用性と有効性が裏付けられた。
• 1次元畳み込み層を用いて局所的チャネル相関をモデル化することで、チャネル特徴のグローバル結合が低減され、モデルのロバスト性が向上する可能性がある。
• 結果から、画像分類の文脈で関連するチャネル依存関係を捉えるために、グローバル注目よりも局所的チャネル注目がより効果的であると考えられる。
• 著者らは、深層学習においてグローバルなデータモデリングに依存するのではなく、局所的データ関係（例：局所的チャネル相関）を探索することが、より有益である可能性があると結論づける。