[論文レビュー] Densely Connected Convolutional Networks

Gao Huang, Zhuang Liu+2 more|arXiv (Cornell University)|Aug 25, 2016

Advanced Neural Network Applications参考文献 37被引用数 1,897

ひとこと要約

DenseNet は各層を前の全層と接続することで特徴の再利用と効率的な学習を可能にし、CIFAR-10/100 および SVHN で強力な結果を達成しつつ、パラメータ数と計算量を削減；ImageNet では ResNet と同等の性能を、パラメータ数を減らして達成。

ABSTRACT

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections - one between each layer and its subsequent layer - our network has L(L+1)/2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet .

研究の動機と目的

• 情報と勾配フローを密な接続によって改善し、より深いネットワークを動機づける。
• 層間で特徴を再利用する、コンパクトでパラメータ効率の高いアーキテクチャを提案する。
• CIFAR-10、CIFAR-100、SVHN、ImageNet で DenseNet の精度向上とパラメータ数の削減を示す。
• 密結合が暗黙の深層監視と正則化として機能することを分析する。

提案手法

• 各層 l が、これまでの全ての層の特徴マップの連結を入力として受け取る DenseNet を導入する。
• H_l を BN-ReLU-Conv の複合関数として定義し、ボトルネック BN-ReLU-Conv(1x1)-BN-ReLU-Conv(3x3) を任意に含める。
• DenseNet-C のような選択された theta パラメータによる圧縮または DenseNet-BC のボトルネックで、遷移層によって密結合ブロックを区切る。
• 成長率 k を制御して、各層が集団状態に追加する新しい特徴マップの数を決定する。
• SGD による訓練、CIFAR/ImageNet での標準データ拡張を用い、top-1/top-5 精度とパラメータ数を報告する。
• 密結合が勾配フロー、特徴の再利用、および正則化を ResNet ライクなアーキテクチャと比較して改善するという証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 密結合（すべての層を以降の全層と接続すること）が、残差結合を超える情報と勾配フローを改善できるか。
• RQ2 成長率 k とボトルネック/圧縮設計が、標準的な視覚ベンチマークにおけるパラメータ効率と精度にどのように影響するか。
• RQ3 DenseNets は CIFAR-10、CIFAR-100、SVHN、ImageNet で、以前のアーキテクチャよりも少ないパラメータと計算量で最先端の性能を達成するか。

主な発見

モデル	C10	C10+	C100	C100+	SVHN
DenseNet-BC (k=12), L=100	5.92	4.51	24.15	22.27	1.76
DenseNet-BC (k=24), L=250	5.19	3.62	19.64	17.60	1.74
DenseNet-BC (k=40), L=190	-	3.46	-	17.18	-

• DenseNets は、多くの設定で augmentation なしの CIFAR-10、CIFAR-100、SVHN において最先端を上回り、augmentation 有りの場合も多くのケースで同等またはそれ以上。
• L=190、k=40 の DenseNet-BC は CIFAR-10（augmentation）で 3.46%、 CIFAR-100（augmentation）で 17.18% を達成し、いくつかの設定で FractalNet および Wide ResNets を上回る。
• DenseNet の派生は ImageNet で強力な結果を示し、DenseNet-201 は 101 層の ResNet にほぼ半分のパラメータでトップ1精度を達成でき、DenseNet-BC ははるかに少ないパラメータと FLOPs で ResNet の性能に匹敵する。
• DenseNets はパラメータ効率が向上し、0.8–7.0M パラメータで CIFAR/SVHN で競争力のある結果を達成し、250 層の DenseNet-BC（k=24）は CIFAR-100+ および SVHN でより多くのパラメータを持つ大規模モデルを上回る。
• DenseNets は小規模データセットでの過学習傾向を抑え、密結合を通じて暗黙の深層監視を提供する。