[論文レビュー] Deep Convolutional Neural Network Design Patterns

Leslie N. Smith, Nicholay Topin|arXiv (Cornell University)|Nov 2, 2016

Advanced Neural Network Applications参考文献 42被引用数 47

ひとこと要約

この論文は、最近のアーキテクチャを分析することで導き出された14のディープ畳み込みニューラルネットワーク（CNN）設計パターンを紹介し、初心者から経験者に至るまで、効果的なモデル構築を支援することを目的としている。本稿では、Fractal of FractalNets（FoF）、Stagewise Boosting Networks（SBN）、Taylor Series Networks（TSN）といった新しいアーキテクチャを提案しており、実験的結果により、FoFはCIFAR-10およびCIFAR-100でベースラインのFractalNetと同等またはそれ以上の正確性を達成するとともに、より高速に学習可能であることが示された。

ABSTRACT

Recent research in the deep learning field has produced a plethora of new architectures. At the same time, a growing number of groups are applying deep learning to new applications. Some of these groups are likely to be composed of inexperienced deep learning practitioners who are baffled by the dizzying array of architecture choices and therefore opt to use an older architecture (i.e., Alexnet). Here we attempt to bridge this gap by mining the collective knowledge contained in recent deep learning research to discover underlying principles for designing neural network architectures. In addition, we describe several architectural innovations, including Fractal of FractalNet network, Stagewise Boosting Networks, and Taylor Series Networks (our Caffe code and prototxt files is available at https://github.com/iPhysicist/CNNDesignPatterns). We hope others are inspired to build on our preliminary work.

研究の動機と目的

• 最近の研究からディープCNNアーキテクチャ設計における普遍的原則を特定すること。
• AlexNetのような古いアーキテクチャに依存しがちな初心者向けの指針の欠如を是正すること。
• 学習効率とパフォーマンスを向上させる、新たな原理的設計パターンを提案すること。
• 発見された設計パターンに基づいて、Fractal of FractalNets、Stagewise Boosting Networks、Taylor Series Networksといった新しいアーキテクチャを導入すること。
• 画像分類を超えたアーキテクチャ設計分野における今後の研究の基盤を提供すること。

提案手法

• 近年のディープラーニング文献からアーキテクチャ的革新を抽出し、繰り返し効果的である設計原則を特定する。
• 深さと学習安定性の間で繰り返し発生する矛盾を解消する14の設計パターンを定義する。
• 代表的表現能力を向上させるために、再帰的なフラクタル構造を適用するFractal of FractalNet（FoF）アーキテクチャを導入する。
• freeze-drop-pathユニットを用いて学習を安定化させるStagewise Boosting Networks（SBN）とTaylor Series Networks（TSN）を提案する。
• 標準ベンチマーク（CIFAR-10およびCIFAR-100）を用いて、新規アーキテクチャの実装と評価を実施する。
• 最終的な正確性の向上を図るため、最大プーリングの代わりに平均プーリングを用いることで、情報の協調的フローを検証する。

実験結果

リサーチクエスチョン

• RQ1 成功したディープCNNアーキテクチャの背後にある普遍的設計原則は何か？
• RQ2 膨大なディープラーニング研究の蓄積から、設計パターンを体系的に抽出する方法は何か？
• RQ3 スキップ接続、プーリングタイプ、正規化などのアーキテクチャ的要素のうち、学習速度と正確性に最も大きな影響を与えるのはどれか？
• RQ4 FoF、SBN、TSNのような新規アーキテクチャは、FractalNetのような既存モデルを上回る正確性と収束速度を達成できるか？
• RQ5 連結（concatenation）とフラクタル結合（fractal-joins）、最大プーリングと平均プーリングといったアーキテクチャ的選択が、モデルパフォーマンスにどのように影響するか？

主な発見

• Fractal of FractalNet（FoF）アーキテクチャは、CIFAR-10で92.6%、CIFAR-100で73.1%のテスト正確性を達成し、元のFractalNetと同等の性能を示したが、より高速に学習可能であった。
• FractalNetにおいて最大プーリングを平均プーリングに置き換えることで、CIFAR-10で94.3%、CIFAR-100で73.4%の最終テスト正確性が向上し、協調的プーリングがより効果的である可能性が示唆された。
• ダウンサンプリング層でフラクタル結合の代わりに連結を使用した場合、同等のパフォーマンスが得られたことから、正確性に損なわれることなくアーキテクチャの柔軟性が確保された。
• freeze-drop-pathを用いたTSNおよびSBNモデルは、FractalNetよりも高速に学習が進んだが、性能は劣ったことから、このコンponentsのさらなるチューニングの必要性が示された。
• マルチスケールカーネルを用いたMaxoutは、平均/合計ベースのフラクタル結合よりも劣った性能を示したことから、協調的集約が競争的集約よりも効果的である可能性が示唆された。
• 本研究では、設計パターンを体系的に抽出し、それらを応用することで、新規かつ高パフォーマンスなアーキテクチャを構築可能であることが実証された。