[論文レビュー] Spectrum concentration in deep residual learning: a free probability approach

Zenan Ling, Xing He+1 more|arXiv (Cornell University)|Jul 31, 2018

Statistical Mechanics and Entropy参考文献 27被引用数 5

ひとこと要約

この論文は、深層残差ネットワークにおける重み初期化の自由確率論的分析を提案し、ネットワークの深さ $L$ に伴い初期重みの分散が $O(1/L)$ にスケーリングされることで、入出力ヤコビアンの固有値分布の集中が保証されることを示している。非エルミート的ランダム行列の極限固有値分布を分析することで、このスケーリングが勾配消失や爆発を防ぎ、従来の初期化手法よりも数個のオーダー速い学習速度を実現できることを示している。

ABSTRACT

We revisit the initialization of deep residual networks (ResNets) by introducing a novel analytical tool in free probability to the community of deep learning. This tool deals with non-Hermitian random matrices, rather than their conventional Hermitian counterparts in the literature. As a consequence, this new tool enables us to evaluate the singular value spectrum of the input-output Jacobian of a fully-connected deep ResNet for both linear and nonlinear cases. With the powerful tool of free probability, we conduct an asymptotic analysis of the spectrum on the single-layer case, and then extend this analysis to the multi-layer case of an arbitrary number of layers. In particular, we propose to rescale the classical random initialization by the number of residual units, so that the spectrum has the order of $O(1)$, when compared with the large width and depth of the network. We empirically demonstrate that the proposed initialization scheme learns at a speed of orders of magnitudes faster than the classical ones, and thus attests a strong practical relevance of this investigation.

研究の動機と目的

• 深層残差ネットワークにおける有効な重み初期化の背後にある理論的理解の欠如に対処すること。
• ヘの古典的初期化手法が深層ResNetsにおいても不適切なヤコビアンを生じさせることの理由を解明すること。
• 深層残差ネットワークにおける入出力ヤコビアンのスペクトル特性を分析するための自由確率論を用いた理論的枠組みを確立すること。
• バックプロパゲーション中の安定した勾配伝搬を保証する深さ依存の初期化ルールを導出すること。
• 実験的に、$\sigma_w^2 = O(1/L)$ が古典的手法よりも著しく速い学習を可能にすることを検証すること。

提案手法

• 著者らは、深層全結合型ResNetsにおける入出力ヤコビアン行列の極限固有値分布を分析するために、非エルミート的自由確率論を適用している。
• ネットワーク幅 $N$ と深さ $L$ が無限大に近づく際の、ヤコビアン $\mathbf{J}\mathbf{J}^T$ の漸近的固有値密度を導出している。
• 分析はヤコビアンの特異値の二乗に焦点を当てており、$\sigma_w^2 = O(1/L)$ のときのみ、その値が $O(1)$ のままであることを示している。これは古典的手法における $O(1/N)$ とは異なり、$O(1/L)$ のスケーリングが必要であることを示している。
• この手法は単一層から多層ネットワークへと拡張され、さまざまな非線形関数や重み初期化タイプにおいて、$O(1/L)$ スケーリングの普遍性が証明されている。
• CIFAR-10を用いた実験により、全結合型および畳み込み型ResNetsにおいて、さまざまな初期化分散を用いてフレームワークを検証している。
• 著者らは、$\sigma_w^2 = 1/\sqrt{L}$ を含むさまざまな $\sigma_w^2$ の設定下での学習ダイナミクスを比較し、優れた収束速度を示している。

実験結果

リサーチクエスチョン

• RQ1 ヘの古典的初期化手法が、幅のスケーリングを適切にしているにもかかわらず、なぜ深層残差ネットワークにおいても安定した勾配伝搬を保証できないのか？
• RQ2 深層ResNetsの入出力ヤコビアンにおける固有値分布の集中を達成するための重み分散 $\sigma_w^2$ の必要十分条件は何か？
• RQ3 残差ネットワークの深さ $L$ がその入出力ヤコビアンのスペクトル特性に与える影響は何か？ また、$O(1)$ の特異値の二乗を保つために、$\sigma_w^2$ のどのスケーリングが必要か？
• RQ4 自由確率論は、任意の深さと幅を持つ深層残差ネットワークにおけるヤコビアン固有値スペクトルの厳密な漸近的解析を可能にするか？
• RQ5 重み分散の $O(1/L)$ スケーリングは、さまざまな非線形関数や初期化方法（正規分布、直交行列）に対して普遍的に有効であるか？

主な発見

• 入出力ヤコビアンの特異値の二乗が $O(1)$ のままであるのは、重み分散が $\sigma_w^2 = O(1/L)$ にスケーリングされている場合に限る。$O(1/N)$ のみでは不十分であり、固有値分布の集中が保証される。
• $O(1/L)$ スケーリングは、ReLUを含む幅広い非線形関数において、固有値分布の集中を達成するための必要十分条件である。これは正規分布および直交初期化の両方において成り立つ。
• 実験結果から、$\sigma_w^2 = 1/\sqrt{L}$ がバッチ正規化を用いなくても、古典的手法よりも数個のオーダー速い学習を可能にすることが示された。
• 重みが $m > 1$ 層からなる残差ユニットでは、グローバルヤコビアンの条件数を維持するためには最適スケーリングが $\sigma_w^2 = O(L^{-1/m})$ に変化するが、これは残差ユニット内部での内部勾配消失を引き起こす可能性がある。
• グローバルヤコビアンの条件数と残差ユニット内部の局所的勾配伝搬の間のトレードオフが確認され、極めて小さな $\sigma_w^2$ は内部の勾配消失を引き起こすことが分かった。
• 自由確率論に基づく理論的枠組みは、有限な $N$ および $L$ に対しても、深層ResNetsにおけるヤコビアンスペクトルの実験的挙動を正確に予測でき、その実用的妥当性が裏付けられた。