[論文レビュー] SRM : A Style-based Recalibration Module for Convolutional Neural Networks

HyunJae Lee, Hyoeun Kim+1 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications参考文献 34被引用数 42

ひとこと要約

SRMは、チャネルごとのスタイル統計を利用して特徴マップを再重み付けする軽量なスタイルベースのチャネル再較正モジュールを導入し、SEと比較して最小限のオーバーヘッドで性能を向上させます。一般的なビジョンタスクとスタイル関連タスクで利得を生み出します。

ABSTRACT

Following the advance of style transfer with Convolutional Neural Networks (CNNs), the role of styles in CNNs has drawn growing attention from a broader perspective. In this paper, we aim to fully leverage the potential of styles to improve the performance of CNNs in general vision tasks. We propose a Style-based Recalibration Module (SRM), a simple yet effective architectural unit, which adaptively recalibrates intermediate feature maps by exploiting their styles. SRM first extracts the style information from each channel of the feature maps by style pooling, then estimates per-channel recalibration weight via channel-independent style integration. By incorporating the relative importance of individual styles into feature maps, SRM effectively enhances the representational ability of a CNN. The proposed module is directly fed into existing CNN architectures with negligible overhead. We conduct comprehensive experiments on general image recognition as well as tasks related to styles, which verify the benefit of SRM over recent approaches such as Squeeze-and-Excitation (SE). To explain the inherent difference between SRM and SE, we provide an in-depth comparison of their representational properties.

研究の動機と目的

• CNN表現を高めるために画像スタイル情報を活用する動機づけ。
• スタイル文脈を用いて特徴を再調整する軽量なアーキテクチャユニットを提案。
• 標準的なCNNへSRMをエンドツーエンド訓練で統合し、オーバーヘッドを最小化。
• 一般的なビジョンタスクとスタイル関連ドメインでSRMを経験的に検証。

提案手法

• スタイルプーリング（平均と標準偏差）を用いてチャネルごとのスタイル特徴を抽出。
• チャネルごとの全結合層とバッチ正規化およびシグモイド活性化を組み合わせてチャネルごとのスタイルウェイトを計算（スタイル統合）。
• 生成されたスタイルウェイトGとチャネル-wise乗算により特徴マップを再較正。
• ResNetなどの既存CNNの残差ブロックへSRMを統合し、エンドツーエンドで訓練。
• SRMをSEおよびGEと比較し、表現特性と剪定挙動を分析。

実験結果

リサーチクエスチョン

• RQ1 SRMはImageNetとCIFARデータセットでSEおよびGEに対して分類精度を改善しますか？
• RQ2 スタイルプーリングは有用なスタイル情報を捉える上でグローバル平均プーリング/最大プーリングとどのように比較されますか？
• RQ3 SRMはStylized-ImageNet、質感分類、マルチドメイン適応などのスタイル関連タスクに有益ですか？
• RQ4 SRMはSEと比較してパラメータ数と計算効率の点でどの程度優れていますか？

主な発見

Model	Params	GFLOPs	top-1	top-5
ResNet-50	25.56M	3.86	75.89	92.85
SE-ResNet-50	28.09M	3.87	76.80	93.39
GE-ResNet-50	31.12M	3.87	76.75	93.41
SRM-ResNet-50	25.62M	3.88	77.13	93.51
ResNet-101	44.55M	7.58	77.40	93.59
SE-ResNet-101	49.33M	7.60	78.08	93.95
GE-ResNet-101	53.58M	7.60	77.36	93.64
SRM-ResNet-101	44.68M	7.62	78.47	94.20

• SRM-ResNet-50はImageNet-1Kでトップ1が77.13%、ベースライン（ResNet-50）の75.89%に対し、追加パラメータ0.06Mで達成。
• SRMはImageNet-1KおよびCIFARデータセット全体でSEおよびGEを一貫して上回り、パラメータ数は数桁小さい。
• SRMはStylized-ImageNetの精度を改善し、マルチドメインのOffice-Homeおよび質感データセット（DTD）でも性能を向上。
• チャネル剪定において、SRMはSEおよびGEよりも精度をより良く保持し、学習されたチャネル重要度が優れていることを示唆。
• スタイル転写（BN+SRM）はインスタンス正規化（IN）と競合的なスタイライズ品質を達成。
• アブレーションはAvgPoolとStdPool（スタイルプーリング）を組み合わせると、プーリング変種の中で最良の性能を示す。