[論文レビュー] Gated Convolutional Networks with Hybrid Connectivity for Image Classification

Chuanguang Yang, Zhulin An+6 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Neural Network Applications参考文献 30被引用数 13

ひとこと要約

本稿では、ハイブリッド接続性（グローバルな密接続と局所的な残差接続）とゲート付き特徴融合を組み合わせることで、DenseNetにおける冗長性を低減するとともに特徴表現を強化する、HCGNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。スイープ・アンド・エクサイトモジュールにマルチカーネルのディープワイド畳み込みと学習可能な忘却/更新ゲートを導入することで、HCGNetは、パrameter数とFLOPsを著しく削減しながら、CIFARおよびImageNetで最先端の精度を達成し、手動設計およびNAS最適化モデルを上回る性能を発揮する。

ABSTRACT

We propose a simple yet effective method to reduce the redundancy of DenseNet by substantially decreasing the number of stacked modules by replacing the original bottleneck by our SMG module, which is augmented by local residual. Furthermore, SMG module is equipped with an efficient two-stage pipeline, which aims to DenseNet-like architectures that need to integrate all previous outputs, i.e., squeezing the incoming informative but redundant features gradually by hierarchical convolutions as a hourglass shape and then exciting it by multi-kernel depthwise convolutions, the output of which would be compact and hold more informative multi-scale features. We further develop a forget and an update gate by introducing the popular attention modules to implement the effective fusion instead of a simple addition between reused and new features. Due to the Hybrid Connectivity (nested combination of global dense and local residual) and Gated mechanisms, we called our network as the HCGNet. Experimental results on CIFAR and ImageNet datasets show that HCGNet is more prominently efficient than DenseNet, and can also significantly outperform state-of-the-art networks with less complexity. Moreover, HCGNet also shows the remarkable interpretability and robustness by network dissection and adversarial defense, respectively. On MS-COCO, HCGNet can consistently learn better features than popular backbones.

研究の動機と目的

• DenseNetの完全なスキップ接続が深さに比例して2乗的に増加し、情報量の少ない特徴を伝搬するという、元来の冗長性を軽減すること。
• 密接続（特徴探索）と残差学習（パラメータ効率性と低冗長性）の長所を組み合わせることで、特徴表現を向上させること。
• 特徴集約とアテンションメカニズムにおけるアーキテクチャ的革新を通じて、モデルの解釈可能性と敵対的耐性を向上させること。
• 計算オーバーヘッドを最小限に抑えて、既存のCNNに容易に統合可能な軽量で汎用性の高いモジュールを開発すること。

提案手法

• スイープ・マルチスケール・エクサイトーション・ゲート（SMG）モジュールを導入し、2段階のパイプラインを採用する。まず、時計回りの形状を持つ階層的畳み込みにより特徴の次元を低減するスイープセルを実装する。
• 次に、マルチスケールのエクサイトーションセルが、マルチカーネルのディープワイド畳み込みを用いて、コンパクトで情報量の多いマルチスケール特徴を抽出する。
• チャネルワイドな依存関係をモデル化することで、再利用される冗長な特徴を抑制するため、残差パスに忘却ゲートを組み込む。
• グローバルな文脈モデリングを用いた更新ゲートを導入し、統合の前に情報を豊かにする特徴を強化する。
• ハイブリッド接続パターンを採用：すべての過去のモジュール間でチャネルワイドな連結（密接続）と、モジュール内での要素ごとの加算（残差接続）を併用する。
• 単純な連結や加算に代えて、ゲート付き統合機構を採用することで、動的でアテンションベースの特徴統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 密接続と残差接続を組み合わせたハイブリッド接続パターンは、深層ネットワークにおける冗長性を低減しつつ、特徴表現を維持または向上させることができるか？
• RQ2 学習可能な忘却ゲートと更新ゲートは、固定された加算や連結に比べて、特徴統合の効率性とモデル性能を向上させることができるか？
• RQ3 階層的圧縮とマルチスケールのエクサイトーションを備えた提案されたSMGモジュールは、より優れた特徴のコンパクト性と表現力を持つと期待できるか？
• RQ4 HCGNetは、手動設計およびNAS最適化モデルに比べて、著しく少ないFLOPsとパラメータ数で最先端の性能を達成できるか？
• RQ5 このアーキテクチャは、実世界のビジョンタスクにおいて、モデルの解釈可能性と敵対的耐性をどの程度向上させることができるか？

主な発見

• HCGNet-A3はCIFAR-10およびCIFAR-100で優れた性能を発揮し、パrameter数を4.5倍も減らしたNASNet-Aを上回る。
• ImageNetでは、HCGNet-Bは同等または低い複雑性を持つモデルの中で、トップ-1およびトップ-5精度が最高を記録し、DenseNet-169およびAOGNetを上回った。
• HCGNet-Bは、DenseNet-169と比較して特徴の冗長性を88％削減しながら、精度を2.3％以上向上させた。
• ネットワークディスsectionにおいて、HCGNet-Bは最高の解釈可能性スコアを示し、優れた潜在的表現品質を示した。
• FGSM攻撃において、HCGNet-BはResNet-50およびAOGNetよりも高い敵対的耐性を示し、特に大きな摂動レベルで顕著であった。
• COCOオブジェクト検出およびインスタンスセグメンテーションタスクにおいて、HCGNet-Bをバックボーンとして用いた場合、AP指標でResNet-50およびAOGNetのバックボーンを上回った。