[論文レビュー] The Emergence of Spectral Universality in Deep Networks

Jeffrey Pennington, Samuel S. Schoenholz+1 more|arXiv (Cornell University)|Feb 27, 2018

Blind Source Separation Techniques参考文献 5被引用数 61

ひとこと要約

本論文は自由確率に基づく枠組みを用いて、初期における深層ネットワークの入力-出力ヤコビアンの全スペクトルを特徴づけ、深さを超えてさまざまな非線形性と重み型に対して普遍的な極限スペクトル分布が持続することを明らかにする。

ABSTRACT

Recent work has shown that tight concentration of the entire spectrum of singular values of a deep network's input-output Jacobian around one at initialization can speed up learning by orders of magnitude. Therefore, to guide important design choices, it is important to build a full theoretical understanding of the spectra of Jacobians at initialization. To this end, we leverage powerful tools from free probability theory to provide a detailed analytic understanding of how a deep network's Jacobian spectrum depends on various hyperparameters including the nonlinearity, the weight and bias distributions, and the depth. For a variety of nonlinearities, our work reveals the emergence of new universal limiting spectral distributions that remain concentrated around one even as the depth goes to infinity.

研究の動機と目的

• 全体のヤコビアンのスペクトルが非線形性、重み・バイアス分布、深さにどう依存するかを理解する。
• 初期時点での深層ネットワークのヤコビアンの極限スペクトル分布を特徴づける。
• 安定した条件数とダイナミカル・イソメトリーを確保する領域を特定し、素早い学習を可能にする。
• 非線性と重み変換からヤコビアンのスペクトルを計算する扱いやすいマスター方程式を開発する。

提案手法

• Jを各層Lについて対角行列D^lと重み行列W^lの積としてモデル化する。
• 自由確率、特にS変換を用いて、J J^Tのスペクトルの暗黙のマスター方程式を導く。
• マスター方程式を、非線形性のモーメント生成関数M_{D^2}と重みのS変換S_{W^T W}の形で表現する。
• 一般的な非線形性（線形、ReLU、Hard Tanh、Erfなど）と重み系（直交、ガウス）へ特化して、普遍的なスペクトル予測を得る。
• G(z)の根探索手続きとマスター方程式の解法を用いて、スペクトルを数値的に抽出する。
• M_{D^2}とS_{W^T W}の展開からヤコビアンのスペクトルのモーメントm_kを計算し、深さに伴う分散スケーリングを評価する。

実験結果

リサーチクエスチョン

• RQ1 初期時点での深層ネットワークにおける入力-出力ヤコビアンJ J^Tの全体的な極限スペクトル分布は何か？
• RQ2 非線形性、重み/バイアス分布、ネットワーク深さは、平均（chi^L）を超えるスペクトルにどのような影響を与えるのか？
• RQ3 深さが増すと普遍的な極限スペクトル分布が現れるのか、現れる場合の条件（例：直交重み、臨界初期化）は何か？
• RQ4 任意の非線形性と重み変換に対してスペクトルを捉えるコンパクトなマスター方程式は存在するのか？

主な発見

• J J^Tの全スペクトルは臨界初期化の下で1付近に集中し、そのモーメントは深さに依存してchi^Lとなるが、臨界境界では平均は1のまま高次モーメントが深さとともに増加する。
• 二つの普遍的な極限スペクトルクラスが現れる：直交重みの場合はBernoulli様（Hard Tanh, Shifted ReLU）と滑らかなクラス（Erf, Smoothed ReLU）で、異なる極限分布を持つ。
• ReLUは安定した極限スペクトルを破壊する一方、Hard TanhとErfは特定の二重スケーリング極限において深さ不変の分散を得られる場合がある。
• マスター方程式はM_{D^2}とS_{W^T W}をスペクトルに関連づけ、G(z)とStieltjes反転を介した全密度の実用的な計算を可能にする。
• 極限密度のスペクトル端点とデルタ関数ピークは、BernoulliクラスにおけるG(z)の解析形とLambert W関数から予測できる。
• 直交ネットワークの場合、普遍性のクラスは深さを超えて持続し、収束速度は非線形性に依存する。