[論文レビュー] Convolutional Networks with Dense Connectivity

Gao Huang, Zhuang Liu+3 more|arXiv (Cornell University)|Jan 8, 2020

Advanced Neural Network Applications参考文献 47被引用数 9

ひとこと要約

この論文は、特徴マップの連結を介して、すべての前の層および後の層に直接接続するDense Convolutional Networks（DenseNet）という深層学習アーキテクチャを導入する。これにより、特徴の再利用が向上し、勾配の流れが改善され、パラメータの効率性が向上する。DenseNetは、従来の手法よりも少ないパラメータと計算量で、CIFAR-10、CIFAR-100、SVHN、ImageNetにおいて最先端の性能を達成する。

ABSTRACT

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion.Whereas traditional convolutional networks with L layers have L connections - one between each layer and its subsequent layer - our network has L(L+1)/2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, encourage feature reuse and substantially improve parameter efficiency. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks (CIFAR-10, CIFAR-100, SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less parameters and computation to achieve high performance.

研究の動機と目的

• 非常に深い畳み込みネットワークにおける勾配消失問題に対処するため、層間の情報伝達と勾配の流れを改善すること。
• 同じ特徴マップサイズを持つすべての層に直接接続を設けることで、特徴の再利用とパラメータの効率性を向上させること。
• 最適化の困難さが生じない、シンプルでありながら効果的なアーキテクチャを設計し、数百層にまでスケーリングできること。
• 複数のベンチマークデータセット上で提案されたアーキテクチャを評価し、モデルの複雑さを軽減しながら一貫した精度向上を示すこと。

提案手法

• DenseNetの各層は、すべての先行層からの特徴マップを入力として受け取り、加算ではなく連結を用いて特徴を統合する。
• ネットワークは密接な接続構造を採用し、$L$層のネットワークでは標準ネットワークの$L$に比べて$\frac{L(L+1)}{2}$の直接接続が生じる。
• 成長率というハイパーパramータが、各層が追加する特徴マップの数を制御する。各層の出力は、その後続のすべての層に連結される。
• 各畳み込み層の前段にプレアクティベーションバッチ正規化を適用し、学習の安定性と性能を向上させる。
• 遷移層は、平均プーリングとバッチ正規化を経て、チャネル数を削減する1x1畳み込みを用いて特徴マップをダウンサンプリングする。
• 成長率の指数関数的増加や、ポストアクティベーションバッチ正規化の変種など、さまざまな構成をサポートし、アブレーションおよび効率性分析に用いる。

実験結果

リサーチクエスチョン

• RQ1 すべての層に密接なスキップ接続を持つ完全に接続されたフィードフォワードアーキテクチャは、非常に深い畳み込みネットワークにおける学習の安定性と性能を向上させることができるか？
• RQ2 密接な接続構造は、特徴の再利用を促進し、重複した特徴学習の必要性を低減させ、より高いパラメータ効率性をもたらすか？
• RQ3 CIFAR、SVHN、ImageNetなどの複数のベンチマークにおいて、DenseNetアーキテクチャはResNetや他の深層ネットワークと比較して、精度、パラメータ数、計算コストの観点でどのように差がつくか？
• RQ4 プレアクティベーションバッチ正規化や成長率スケジューリングといったアーキテクチャ的選択が、モデルの効率性と精度に与える影響は何か？

主な発見

• DenseNetは、従来の手法よりもはるかに少ないパラメータと計算量で、CIFAR-10、CIFAR-100、SVHN、ImageNetで最先端の精度を達成する。
• CIFAR-10では、成長率が32のDenseNetが96.48%のテスト精度を達成し、パラメータ数が少ないにもかかわらず、ResNetや他のベースラインを上回る。
• 数百層に達しても、性能の劣化や過学習の兆候を示さず、強力なスケーラビリティを示している。
• プレアクティベーションバッチ正規化は、ポストアクティベーションバージョンと比較して、顕著に高いパラメータおよび計算効率を達成する。
• 成長率を指数関数的に増加させるDenseNetsは、誤差とFLOPsのトレードオフにおいて、特に深いモデルで計算効率が向上する。
• アブレーションスタディにより、密接な接続構造が情報と勾配の流れを強化し、最適化の困難さを軽減し、一般化性能を向上させることを確認した。