[論文レビュー] Dynamical Isometry and a Mean Field Theory of CNNs: How to Train\n 10,000-Layer Vanilla Convolutional Neural Networks

Lechao Xiao, Yasaman Bahri+3 more|arXiv (Cornell University)|Jun 14, 2018

Neural Networks and Applications被引用数 175

ひとこと要約

本論文はCNNの平均場理論を用いて初期化スキームを特定し、建築上の工夫なしに最大10,000層の vanilla CNN を訓練可能にする。Orthogonal and Delta-Orthogonal 初期化を導入してダイナミカル・アイソメトリーと周波数全体での信号伝搬のバランスを達成する。

ABSTRACT

In recent years, state-of-the-art methods in computer vision have utilized\nincreasingly deep convolutional neural network architectures (CNNs), with some\nof the most successful models employing hundreds or even thousands of layers. A\nvariety of pathologies such as vanishing/exploding gradients make training such\ndeep networks challenging. While residual connections and batch normalization\ndo enable training at these depths, it has remained unclear whether such\nspecialized architecture designs are truly necessary to train deep CNNs. In\nthis work, we demonstrate that it is possible to train vanilla CNNs with ten\nthousand layers or more simply by using an appropriate initialization scheme.\nWe derive this initialization scheme theoretically by developing a mean field\ntheory for signal propagation and by characterizing the conditions for\ndynamical isometry, the equilibration of singular values of the input-output\nJacobian matrix. These conditions require that the convolution operator be an\northogonal transformation in the sense that it is norm-preserving. We present\nan algorithm for generating such random initial orthogonal convolution kernels\nand demonstrate empirically that they enable efficient training of extremely\ndeep architectures.\n

研究の動機と目的

• 適切な初期化によって、極めて深い通常の CNN が残差接続やバッチ正規化なしで訓練可能かを動機づける。
• CNNにおける信号伝搬の平均場理論を導出し、ダイナミカル・アイソメトリーの条件を特定する。
• これらの条件を実現する実用的な初期化方式（直交初期化と Delta-Orthogonal）を開発する。
• 提案した初期化によって超深層 CNN を標準ベンチマークで訓練できることを実験的に示す。

提案手法

• CNN の前方伝搬共分散再帰を導出し、その定常点と安定性を研究する。
• 層間ヤコビ行列と特異値分布を解析して、ダイナミカル・アイソメトリーへ接続する。
• ウェーブレットに着想を得た手法を用いてランダムな直交畳み込みカーネルを構築する。
• カーネル中心に分散を集中させてフーリエモード間の伝搬をバランスさせる Delta-Orthogonal 初期化を導入する。
• MNISTとCIFAR-10で訓練スピードの向上と深さ制限を示す実証的検証を提供する。

Figure 1: Extremely deep CNNs can be trained without the use of batch normalization or residual connections simply by using a Delta-Orthogonal initialization with critical weight and bias variance and appropriate (in this case, $\operatorname{tanh}$ ) nonlinearity. Test (solid) and training (dashed)

実験結果

リサーチクエスチョン

• RQ1 適切な初期化により、残差接続やバッチ正規化なしで10,000層の深さの通常の CNN を訓練できるか。
• RQ2 CNN において前方信号伝搬の安定性とダイナミカル・アイソメトリーを保証する初期化の条件は何か。
• RQ3 非常に深い CNN で空間周波数モードはどのように伝搬するか、初期化をどのように用いてそれらをバランスさせられるか。
• RQ4 直交初期化と Delta-Orthogonal 初期化は超深層 CNN の訓練速度と一般化を向上させるか。

主な発見

• 理論的に動機づけられた初期化スキームを用いて、素の CNN を10,000層まで訓練できる。
• 直交カーネルは訓練速度とエンドツーエンドのヤコビ行列の条件づけを著しく改善する。
• CNN は異なる空間周波数に対して複数の深さスケールを示し、Delta-Orthogonal 初期化は全周波数で伝搬をバランスさせる。
• カーネル全体での重み分散の非均一性はモード伝搬を変え、非常に深いネットワークで一般化を低下させる可能性がある。
• Delta-Orthogonal 初期化は実験で性能を維持したまま任意の深さを達成する一方、一般的なガウス初期化は失敗する。
• MNIST と CIFAR-10 に関する経験的結果は、理論と一致する訓練の進展と深さに関する一般化効果を示す。

Figure 2: Mean field theory predicts the maximum trainable depth for CNNs. For fixed bias variance $\sigma^{2}_{b}=2\times 10^{-5}$ , the heat map shows the training accuracy on MNIST obtained for a given depth $L$ network and weight variance $\sigma_{w}$ , after (a) $500$ , (b) $2{,}500$ , (c) $10{