[論文レビュー] FractalNet: Ultra-Deep Neural Networks without Residuals

Gustav Larsson, Michael Maire+1 more|arXiv (Cornell University)|May 24, 2016

Anomaly Detection Techniques and Applications参考文献 34被引用数 618

ひとこと要約

FractalNetは、残差接続なしで超深層ネットワーク向けの自己相似なフラクタルマクロアーキテクチャを提案し、CIFARおよびImageNetでResNetと競合する性能を達成するとともに、ハイディープサブネットワークと随時予測を可能にする正則化としてドロップパスを導入する。

ABSTRACT

We introduce a design strategy for neural network macro-architecture based on self-similarity. Repeated application of a simple expansion rule generates deep networks whose structural layouts are precisely truncated fractals. These networks contain interacting subpaths of different lengths, but do not include any pass-through or residual connections; every internal signal is transformed by a filter and nonlinearity before being seen by subsequent layers. In experiments, fractal networks match the excellent performance of standard residual networks on both CIFAR and ImageNet classification tasks, thereby demonstrating that residual representations may not be fundamental to the success of extremely deep convolutional neural networks. Rather, the key may be the ability to transition, during training, from effectively shallow to deep. We note similarities with student-teacher behavior and develop drop-path, a natural extension of dropout, to regularize co-adaptation of subpaths in fractal architectures. Such regularization allows extraction of high-performance fixed-depth subnetworks. Additionally, fractal networks exhibit an anytime property: shallow subnetworks provide a quick answer, while deeper subnetworks, with higher latency, provide a more accurate answer.

研究の動機と目的

• 超深層CNNを訓練する際に、明示的な残差接続が必須であるかどうかを動機づける。
• パススルー信号を用いずに複数のサブパスを織り交ぜる自己相似なフラクタルマクロアーキテクチャを提案する。
• 共同適応を防ぎ、高性能なサブネットワークを実現するための正則化としてドロップパスを導入する。
• FractalNetがCIFAR、SVHN、ImageNetでResNetと同等の性能を示し、随時挙動を示すことを実証する。
• Fractalネットワークと深い監督学習や教師-生徒学習といった概念との関連を探る。

提案手法

• f_Cを展開規則 f_{C+1}(z) = [(f_C ∘ f_C)(z)] ⊕ [conv(z)] として切り詰められたフラクタルとして定義する。
• 並列サブパスからの入力を平均化（要素単位の平均）するジョイン層 ⊕ を用い、パススルーや特権的な残差信号を許さない。
• ドロップパスで正則化する：ジョイン層への入力を局所的または全体的にドロップして少なくとも1つの経路を残す；局所的サンプリングと全体的サンプリングの混合が多様なサブネットワークを促進する。
• SGD（モーメンタム）とバッチ正規化で訓練する；Xavier初期化を使用；+、++ などの異なるレベルでデータ拡張を適用。
• フラクタルネットワークから平凡な単一カラムのサブネットワークを抽出できることを示し、これが高性能なサブネットワークとして機能する。
• 浅いサブネットワークが迅速な予測を提供し、より深いサブネットワークが精度を向上させる随時挙動を調査する。

実験結果

リサーチクエスチョン

• RQ1 超深層CNNを訓練するには明示的な残差学習機構が必要か、それとも自己相似のフラクタルアーキテクチャが同等の性能を達成できるか。
• RQ2 ドロップパス正則化が訓練、一般化、そしてフラクタルネット内で高性能サブネットワークの出現にどう影響するか。
• RQ3 残差接続なしで複数の深さ経路を活用して随時予測を提供できるか。
• RQ4 深い監督付け学習や教師-生徒学習といった現象との関係は何か。

主な発見

• FractalNetはCIFARおよびImageNetでResNetの性能に匹敵する（場合によってはデータ拡張なしでも）、CIFARの結果はResNetのベンチマークに近づく。
• データ拡張を用いると、ImageNetのFractalNet-34はTop-1エラー24.12%を達成（ResNet-34は24.19%）。”
• FractalNetの深さ拡張は精度を向上させる。非常に深い構成（例: 40/80/160）は性能を維持または向上させる一方、通常の深層ネットは収束しないことが多い。
• ドロップパス正則化はCIFAR-100の結果を大幅に改善し（例: 35.34% から 28.20% エラー）、単一カラムのプレーンネットを含む強力なサブネットワークの抽出を可能にする。
• FractalNetは随時挙動を可能にする：浅いサブネットワークは迅速で合理的な精度の予測を提供し、より深いサブネットワークはより高い精度を提供する。
• 抽出された深いサブネットワークは、完全なフラクタル対応物と比較できる性能を示す。フラクタルフレームワークが効果的な訓練エンジンとアーキテクチャであることを示している。