[論文レビュー] SENetV2: Aggregated dense layer for channelwise and global representations

M. S. Narayanan|arXiv (Cornell University)|Nov 17, 2023

Advanced Image and Video Retrieval Techniques被引用数 18

ひとこと要約

SENetV2 は、チャネルごとの表現とグローバル表現を強化するために、絞り込み（Squeeze）-励起（Excitation）ResNet モジュール内にマルチブランチ密集層（集約 FC）を導入し、パラメータ増加は最小限に抑えつつ精度を向上させる。

ABSTRACT

Convolutional Neural Networks (CNNs) have revolutionized image classification by extracting spatial features and enabling state-of-the-art accuracy in vision-based tasks. The squeeze and excitation network proposed module gathers channelwise representations of the input. Multilayer perceptrons (MLP) learn global representation from the data and in most image classification models used to learn extracted features of the image. In this paper, we introduce a novel aggregated multilayer perceptron, a multi-branch dense layer, within the Squeeze excitation residual module designed to surpass the performance of existing architectures. Our approach leverages a combination of squeeze excitation network module with dense layers. This fusion enhances the network's ability to capture channel-wise patterns and have global knowledge, leading to a better feature representation. This proposed model has a negligible increase in parameters when compared to SENet. We conduct extensive experiments on benchmark datasets to validate the model and compare them with established architectures. Experimental results demonstrate a remarkable increase in the classification accuracy of the proposed model.

研究の動機と目的

• チャネルごとの squeeze と excitation を集約的/グローバルな学習と組み合わせることで、特徴表現を強化する動機づけ。
• グローバル表現学習を拡張するために、マルチブランチ密集（集約 FC）層を導入する。
• SaE（Squeeze Aggregated Excitation）モジュールを残差ブロックへ組み込み、複雑さの小さな増加で性能を向上させる。
• CIFAR-10、CIFAR-100、そして改変された ImageNet において、SENetV2 を SENet 変種および ResNet/ResNeXt 系のベースラインと比較する。
• 集約 FC 層がパラメータ増加を抑えつつ分類精度を向上させることを示す。

提案手法

• SaE モジュールを提案する：高基数を持つ小さくした FC を含むグローバルプーリングと結合した squeeze を、集約 FC ブランチと統合する。
• 励起パス内でマルチブランチ密集層（基数 = 4）を使用し、形状復元前に出力を連結する。
• SaE を ResNet 風の残差モジュール（SEnetV2）へ組み込み、SE や ResNeXt 風の構造と比較する。
• 縮小サイズを 32、基数を 4 に保ち、表現力の向上とパラメータ効率のバランスを取る。
• 数式的な定式化を提供する：SaE モジュールは x → F(x) に従い、x は x + F(x · Ex(Σ Sq(x)))（およびバリアント）として更新され、残差パス内の集約を説明する。

実験結果

リサーチクエスチョン

• RQ1 集約密集（SaE）モジュールは、標準の SENet や ResNet のベースラインより精度を改善しますか？
• RQ2 SENetV2 は CIFAR-10、CIFAR-100、改変された ImageNet データセットにおいて、SE 変種および ResNeXt 系アーキテクチャと比較してどのように性能を示しますか？
• RQ3 基数と縮小サイズが SaE モジュールの有効性とパラメータ数に与える影響はどのようなものですか？
• RQ4 SaE モジュールは、パラメータの大幅なオーバーヘッドを伴わずに、既存の残差アーキテクチャへ効果的に組み込むことができますか？

主な発見

• CIFAR-10 では、SENetV2 は Resnet および SE-Resnet 変種よりも Top-1 の精度が高く、パラメータ増加はごくわずかである。
• CIFAR-100 では、SENetV2 は SE-Resnet やバニラ ResNet と比較して深さがほぼ同等にもかかわらず、パラメータ差が中程度で精度を向上させる。
• 改変された ImageNet では、SENetV2（および SExt 変種）は ResNet および SE-ResNet のベースラインより Top-1/Top-5 が高く、試験モデルの中で最も良い Top-1/Top-5 を SEneXtV2 が示す。
• 実験を通じて、マルチブランチ密集（基数 = 4）の構成は、パラメータ増加を抑えつつより良いグローバル表現学習を提供する。
• 総じて、SENetV2 は従来の SENet を一貫して上回り、ResNeXt 系の性能に匹敵あるいは上回る一方で、複雑さの増加を控えめに保つ。