[論文レビュー] Competitive Inner-Imaging Squeeze and Excitation for Residual Network

Yang Hu, Guihua Wen+4 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Neural Network Applications参考文献 44被引用数 46

ひとこと要約

本論文は、ResNetに対する競争的 squeeze-and-excitation (CMPE-SE) ブロックを提案し、残差チャネルとアイデンティティのチャネル関係を同時にモデル化し、内部画像化機構を追加して畳み込みフィルターで中間チャネル特徴を再画像化し、チャネル単位の関係を豊かに表現します。

ABSTRACT

Residual networks, which use a residual unit to supplement the identity mappings, enable very deep convolutional architecture to operate well, however, the residual architecture has been proved to be diverse and redundant, which may leads to low-efficient modeling. In this work, we propose a competitive squeeze-excitation (SE) mechanism for the residual network. Re-scaling the value for each channel in this structure will be determined by the residual and identity mappings jointly, and this design enables us to expand the meaning of channel relationship modeling in residual blocks. Modeling of the competition between residual and identity mappings cause the identity flow to control the complement of the residual feature maps for itself. Furthermore, we design a novel inner-imaging competitive SE block to shrink the consumption and re-image the global features of intermediate network structure, by using the inner-imaging mechanism, we can model the channel-wise relations with convolution in spatial. We carry out experiments on the CIFAR, SVHN, and ImageNet datasets, and the proposed method can challenge state-of-the-art results.

研究の動機と目的

• アイデンティティマッピングとの競合を通じて残差チャネルを再重み付けすることにより、深いResNetの冗長性を削減し、効率を向上させることを動機づける。
• 残差特徴だけでなく、アイデンティティフローを含む統合的な較正スキームにチャネル単位の注意を拡張する。
• 中間チャネル特徴を再画像化し、畳み込み演算子でチャネル関係をモデル化するための内部画像化を導入する。
• 低いパラメータコストで多様なチャネル関係の符号化を探索するためのペアビューおよび折りたたみ内部画像化のバリアントを提案する。

提案手法

• 残差およびアイデンティティマッピングから圧縮信号を連結し、結合励起ウェイトを学習するCMPE-SEブロックを定義する。
• アイデンティティ情報を、アイデンティティと残差特徴の結合プーリングを用いて絞り段に組み込む。
• 内部画像化を用いてグローバルなチャネル関係を空間マップに変換し、畳み込みフィルタで空間的に配慮したチャネル依存関係を捉える。
• パイアビュー構成（2x1および1x1）と折りたたみ3x3内部画像化バリアントを探索し、パラメータ数を抑えつつチャネル関係をより豊かにモデル化する。
• 標準のトレーニングプロトコルとミックスアップを用いて、CIFAR-10/100、SVHN、ImageNet上の標準ResNetおよびWide ResNetのバックボーンにCMPE-SEブロックを適用する。

実験結果

リサーチクエスチョン

• RQ1 CMPE-SEは、アイデンティティフローを残差チャネルの再重み付けに参加させることで、ResNetのモデリング効率を向上させることができるか？
• RQ2 内部画像化は、残差ネットワークにおける標準SEブロックよりも豊かなチャネル関係のモデリングを可能にするか？
• RQ3 ペアビューおよび折りたたみ内部画像化のバリアントは、基本的なCMPE-SE設計よりパラメータ効率の高い利得を提供するか？
• RQ4 CMPE-SEは、CIFAR、SVHN、ImageNetのデータセットで、SEブロックおよびベースラインResNetsと比較してどのように性能を示すか？

主な発見

• CMPE-SEはCIFARおよびSVHN全体でSE-ResNetより一貫して改善を示し、誤差率を低減し、妥当なパラメータ追加でより良い性能を提供する。
• CIFAR-10/100およびWRN系統で、様々なペアビューおよび折りたたみ構成を持つCMPE-SEはSEブロックより低い誤差を達成し、3x3折りたたみペアビューのいくつかは強い利得を示す。
• ImageNetでは、double FCまたは1x1ペアビューを用いたCMPE-SE-ResNet-50バリアントは、同様のトレーニング設定下でSE-ResNet-50よりトップ1/トップ5誤差が低く、スケーラブルな利得を示す。
• CMPE-SEはCIFAR-10/100でSE-ResNetに対する平均誤差を約0.226%低減し、WRNアーキテクチャでより大きな相対的改善を示す。
• 折りたたみ内部画像化は基本的なペアビューと同等かやや上回る結果を示し、チャネル関係の符号化の多様性を高めつつ、妥当なパラメータコストを維持する道を提供する。