[論文レビュー] When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks

Zhiyu Zhu, Zhen-Peng Bian+3 more|arXiv (Cornell University)|Apr 19, 2020

Advanced Neural Network Applications参考文献 31被引用数 4

ひとこと要約

本稿では、グローバルな残差学習とローカルなマイクロ・ディンス集約を組み合わせることで、特徴表現を向上させるとともにパラメータの重複を低減する、新しい深層ニューラルネットワークアーキテクチャ「Micro-Dense Nets」を提案する。ピラミッド型のマルチレベル特徴学習と次元基数適応型畳み込みを導入することで、CIFAR-10、CIFAR-100、ImageNet-1Kの各データセットで最先端の精度を達成した。パラメータ数はわずか400万で、同等のモデルと比較して12.1倍も少ない。さらに、精度と効率性の両面でSOTAネットワークを上回った。

ABSTRACT

Various architectures (such as GoogLeNets, ResNets, and DenseNets) have been proposed. However, the existing networks usually suffer from either redundancy of convolutional layers or insufficient utilization of parameters. To handle these challenging issues, we propose Micro-Dense Nets, a novel architecture with global residual learning and local micro-dense aggregations. Specifically, residual learning aims to efficiently retrieve features from different convolutional blocks, while the micro-dense aggregation is able to enhance each block and avoid redundancy of convolutional layers by lessening residual aggregations. Moreover, the proposed micro-dense architecture has two characteristics: pyramidal multi-level feature learning which can widen the deeper layer in a block progressively, and dimension cardinality adaptive convolution which can balance each layer using linearly increasing dimension cardinality. The experimental results over three datasets (i.e., CIFAR-10, CIFAR-100, and ImageNet-1K) demonstrate that the proposed Micro-Dense Net with only 4M parameters can achieve higher classification accuracy than state-of-the-art networks, while being 12.1$ imes$ smaller depends on the number of parameters. In addition, our micro-dense block can be integrated with neural architecture search based models to boost their performance, validating the advantage of our architecture. We believe our design and findings will be beneficial to the DNN community.

研究の動機と目的

• ResNets や DenseNets におけるパラメータの重複や特徴の非効率的利用といった既存の深層ネットワークの限界を解消すること。
• 計算コストとモデルサイズを低減しながら、分類精度を維持または向上させること。
• より良い特徴表現を実現するため、局所的な密接続とグローバルな残差学習を組み合わせた新しい集約戦略を検討すること。
• CIFARおよびImageNetデータセットを用いた広範な実験を通じて、提案アーキテクチャの有効性を検証すること。

提案手法

• 各ブロック内での局所的密接続を用いるマイクロ・ディンスブロックを提案し、特徴抽出を強化するとともに冗長性を低減する。
• マイクロ・ディンスブロック間のグローバルなアイデンティティマッピングを導入し、勾配の流れを維持し、深層学習を可能にする。
• ピラミッド型のマルチレベル特徴学習を採用し、ブロック内のレイヤーを経て出力チャネル数を段階的に増加させることで、情報損失を防ぐ。
• 次元基数適応型畳み込みを適用し、特徴マップの幅に比例して畳み込みグループ数を線形に増加させることで、パラメータの増加を制御する。
• 複数のベンチマークで高い精度を維持する軽量アーキテクチャを設計し、パラメータ数は400万にとどめる。
• NASベースのモデル（例：EfficientNet-B0）にマイクロ・ディンスブロックを統合し、性能向上と移植可能性を検証するための「Micro-Dense-EfficientNet」を構築する。

実験結果

リサーチクエスチョン

• RQ1 局所的密接続集約とグローバルな残差学習を組み合わせたハイブリッドアーキテクチャは、既存のSOTAモデルと比較して、より少ないパラメータで優れた性能を達成できるか？
• RQ2 固定成長率特徴学習と比較して、ピラミッド型マルチレベル特徴学習は表現能力においてどのように異なるか？
• RQ3 標準的な残差学習や密接続集約と比較して、マイクロ・ディンス集約は精度と学習安定性の面で優れているか？
• RQ4 マイクロ・ディンスブロックは、NASベースのアーキテクチャにどの程度統合可能で、性能向上に寄与するか？
• RQ5 次元基数適応型畳み込み戦略は、パラメータの爆発を防ぎつつ、より深い特徴学習を可能にする仕組みか？

主な発見

• Micro-Dense Net は、パラメータ数がわずか400万で、ImageNet-1K でトップ-1精度97.84％を達成。SOTAモデルを上回り、パラメータ数が12.1倍も少ない。
• CIFAR-100 では、同じパラメータ数とFLOPs制約下で、Res2Net や ResNeXt を上回る18.49％のテスト誤差率を達成。
• マイクロ・ディンスブロックは、標準的な残差学習や密接続集約よりも誤差率をより効果的に低減し、CIFAR-10およびCIFAR-100の全評価モデルの中で最低のテスト損失と誤差を記録。
• Micro-Dense-EfficientNet は、EfficientNet-B0 のトップ-1精度を0.5パcentポイント向上（76.8％）させたが、FLOPsとパラメータ数はそのままである。
• Micro-Dense-EfficientNet の活性化マップは、ターゲットオブジェクトに鋭く注目していることが示され、特徴の局所化と表現能力の向上が裏付けられた。
• アブレーションスタディの結果、ピラミッド型マルチレベル特徴学習と次元基数適応型畳み込みは性能向上に不可欠であり、両者とも顕著な精度向上に寄与していることが確認された。