[論文レビュー] On Random Matrices Arising in Deep Neural Networks. Gaussian Case

L. А. Pastur|arXiv (Cornell University)|Jan 17, 2020

Statistical Mechanics and Entropy参考文献 26被引用数 19

ひとこと要約

この論文は、ランダムなガウス分布の重みとバイアスをもつ深層ニューラルネットワークにおける入出力ヤコビアンの特異値分布を、ランダム行列理論を用いて分析する。大幅な漸近的条件下で、正規化された固有値数え上げ測度が確実に確定的極限に収束することを確立し、データ行列に依存する母集団共分散行列を有する非標準的設定において自由確率論の適用を正当化する。

ABSTRACT

The paper deals with distribution of singular values of product of random matrices arising in the analysis of deep neural networks. The matrices resemble the product analogs of the sample covariance matrices, however, an important difference is that the population covariance matrices, which are assumed to be non-random in the standard setting of statistics and random matrix theory, are now random, moreover, are certain functions of random data matrices. The problem has been considered in recent work [21] by using the techniques of free probability theory. Since, however, free probability theory deals with population matrices which are independent of the data matrices, its applicability in this case requires an additional justification. We present this justification by using a version of the standard techniques of random matrix theory under the assumption that the entries of data matrices are independent Gaussian random variables. In the subsequent paper [18] we extend our results to the case where the entries of data matrices are just independent identically distributed random variables with several finite moments. This, in particular, extends the property of the so-called macroscopic universality on the considered random matrices.

研究の動機と目的

• ランダムなガウス分布の重みとバイアスをもつ深層ニューラルネットワークにおける入出力ヤコビアンの特異値の漸近的分布を理解すること。
• データ行列に依存する母集団共分散行列をもつ非標準的設定において、自由確率論の適用を正当化すること。
• ネットワークの幅が増大する際、ヤコビアンのグラム行列の正規化された固有値数え上げ測度が確定的極限にほとんど確実に収束することを確立すること。
• i.i.d. ガウス分布の重みとバイアスの仮定の下で、ランダムな深層ニューラルネットワークにおけるマクロスコピックな普遍性の厳密な基礎を提供すること。

提案手法

• 各層の幅の逆平方根でスケーリングされたi.i.d. ガウス分布の要素をもつランダム行列の積として、入出力ヤコビアンをモデル化する。
• ヤコビアンの特異値を決定する、$ M_{\mathbf{n}_L}^L = J_{\mathbf{n}_L}^L (J_{\mathbf{n}_L}^L)^T $ として定義されるグラム行列を定義する。
• i.i.d. ガウス分布の要素を仮定して、標準的なランダム行列理論の技法を適用し、極限スペクトル分布を導出する。
• ステルジウス変換法を用い、極限スペクトル測度のステルジウス変換を含む連立式を解く。
• 複素上半平面および負の実軸上で、ステルジウス変換の連立式が一意に解けることを証明する。
• 層の幅 $ n_l \to \infty $ のとき、固有値の極限正規化数え上げ測度 $ \nu_{M^L} $ の存在とほとんど確実な収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 ランダムなガウス分布の重みとバイアスをもつ深層ニューラルネットワークにおける入出力ヤコビアンの特異値の極限分布は何か？
• RQ2 母集団共分散行列がデータ行列の関数である非標準的状況において、自由確率論がこの問題に厳密に適用可能か？
• RQ3 ヤコビアンのグラム行列の極限スペクトル分布は、大幅漸近的条件下でほとんど確実に収束するか？
• RQ4 マクロスコピックな普遍性は、このi.i.d.でない母集団共分散設定へどのように拡張されるか？

主な発見

• ヤコビアンのグラム行列の正規化された固有値数え上げ測度 $ \nu_{M_{\mathbf{n}_L}^L} $ は、$ \mathbf{n}_L \to \infty $ のとき、ほとんど確実に確定的極限 $ \nu_{M^L} $ に収束する。
• 極限スペクトル測度 $ \nu_{M^L} $ は、重み行列とバイアス行列の極限測度のステルジウス変換を含む方程式系によって特徴づけられる。
• 複素上半平面および負の実軸上で、ステルジウス変換の連立式は一意に解けるため、極限の存在が保証される。
• ステルジウス変換を写像するヤコビアンが正則であるため、解の一意性および極限測度の安定性が保証される。
• 証明は、母集団行列がデータ行列に依存する設定において自由確率論の適用を正当化するために、ガウス分布の仮定に依存する。
• この結果は、i.i.d. ガウス分布の重みとバイアスの仮定の下で、ランダムな深層ニューラルネットワークにおけるマクロスコピックな普遍性の厳密な基礎を確立する。