[論文レビュー] Deeply-Supervised Nets

Chen‐Yu Lee, Saining Xie+3 more|arXiv (Cornell University)|Sep 18, 2014

Advanced Neural Network Applications参考文献 26被引用数 1,034

ひとこと要約

本論文は、畳み込みニューラルネットワークの複数の隠れ層に補助分類ヘッド（同伴の目的関数）を導入することで、特徴の判別性と学習の安定性を向上させる、深層学習フレームワーク「Deeply-Supervised Nets（DSN）」を提案する。中間層を直接的に監視することにより、収束性が向上し、消失勾配の影響が軽減され、MNIST（0.39%の誤差）、CIFAR-10（データ拡張ありで8.22%）、CIFAR-100（34.57%）、SVHN（1.92%）において、標準のCNNや先行手法を上回る最先端の性能を達成した。

ABSTRACT

Our proposed deeply-supervised nets (DSN) method simultaneously minimizes classification error while making the learning process of hidden layers direct and transparent. We make an attempt to boost the classification performance by studying a new formulation in deep networks. Three aspects in convolutional neural networks (CNN) style architectures are being looked at: (1) transparency of the intermediate layers to the overall classification; (2) discriminativeness and robustness of learned features, especially in the early layers; (3) effectiveness in training due to the presence of the exploding and vanishing gradients. We introduce "companion objective" to the individual hidden layers, in addition to the overall objective at the output layer (a different strategy to layer-wise pre-training). We extend techniques from stochastic gradient methods to analyze our algorithm. The advantage of our method is evident and our experimental result on benchmark datasets shows significant performance gain over existing methods (e.g. all state-of-the-art results on MNIST, CIFAR-10, CIFAR-100, and SVHN).

研究の動機と目的

• 深層畳み込みネットワークの隠れ層で学習される特徴の透明性と判別性を向上させること。
• 深層ネットワークにおける誤反転誤差逆伝播の際の消失勾配および爆発勾配問題を解消すること。
• 中間表現を直接監視することで、学習効率と収束性を向上させること。
• データ拡張や複雑な事前学習に依存せずに、理論的裏付けがありスケーラブルなフレームワークを提供すること。
• MNIST、CIFAR-10、CIFAR-100、SVHNを含む多様なベンチマークデータセットにおいて、一貫した性能向上を示すこと。

提案手法

• 主な出力分類器に加えて、各隠れ層に同伴の目的関数（補助分類器）を導入する。
• 確率的勾配法を用いて、DSNフレームワークの収束性向上を分析・裏付けた。
• 畳み込み層、ReLU、プーリングなどの標準的なディープラーニング部品を採用するが、特徴マップに別個の分類器を介したマルチレベル監視を追加する。
• 全層固有の分類損失と最終出力損失の合計が全体の損失となる、共同最適化方式を採用する。
• さまざまな活性化関数や正則化技術（例：ドロップアウト、Maxout）が、このフレームワークと互換可能であることを示した。
• 最終分類器としてSVMまたはソフトマックスを用い、実験によりDSN-SVMおよびDSN-Softmaxが非深層監視型の対応手法を上回ることを確認した。

実験結果

リサーチクエスチョン

• RQ1 中間隠れ層の直接的監視は、深層ネットワークにおける特徴品質および分類性能の向上に寄与するか？
• RQ2 マルチレベル監視は、消失勾配の影響を軽減し、学習収束を加速させるか？
• RQ3 DSNは、多様な画像分類ベンチマークにおいて、標準CNNや他の最先端手法と比較してどのように性能を発揮するか？
• RQ4 DSNはハイパーパramータの選択やデータ不足に対して、どの程度のロバストネスを示すか？
• RQ5 ドロップアウト、Maxout、データ拡張などの既存の正則化およびアーキテクチャ技術をDSNフレームワークに統合できるか？

主な発見

• DSNはMNISTで0.39%のテスト誤差を達成し、データ拡張を用いた手法を含むすべての先行SOTA手法を上回った。
• CIFAR-10では、データ拡張なしで9.78%、拡張ありで8.22%の誤差を記録し、新たなSOTAベンチマークを樹立した。
• CIFAR-100では34.57%のテスト誤差を達成し、Network in Network（35.68%）やMaxout Networks（38.57%）といった先行手法を顕著に上回った。
• SVHNでは1.92%の誤差を達成し、最高水準の結果と一致し、DropConnect（1.94%）やMaxout Networks（2.47%）を上回った。
• DSNの最初の畳み込み層における勾配分散は、標準CNNの4.55倍にのぼり、信号伝播の強化と学習ダイナミクスの向上を示している。
• 特徴マップの可視化結果から、DSNが学習した特徴は、特に初期層において、標準CNNの特徴よりも直感的で判別性に優れていることが明らかになった。