[論文レビュー] Eigenvalue distribution of nonlinear models of random matrices

Lucas Benigni, Sandrine Péché|arXiv (Cornell University)|Apr 5, 2019

Random Matrices and Applications参考文献 26被引用数 25

ひとこと要約

この論文は、深層ニューラルネットワークにおける非線形ランダム行列集合の漸近的固有値分布を確立する。ここで行列積は実解析的活性化関数を介して非線形的に変換される。従来のガウス行列に関する結果をサブガウス重量へ拡張し、大規模次元極限において、経験的固有値分布が活性化関数および入力・出力次元によって決定される決定的極限に収束することを証明する。また、多層構造におけるモーメント収束のための明示的分散バウンドも示す。

ABSTRACT

This paper is concerned with the asymptotic empirical eigenvalue distribution of a non linear random matrix ensemble. More precisely we consider $M= \frac{1}{m} YY^*$ with $Y=f(WX)$ where $W$ and $X$ are random rectangular matrices with i.i.d. centered entries. The function $f$ is applied pointwise and can be seen as an activation function in (random) neural networks. We compute the asymptotic empirical distribution of this ensemble in the case where $W$ and $X$ have sub-Gaussian tails and $f$ is real analytic. This extends a previous result where the case of Gaussian matrices $W$ and $X$ is considered. We also investigate the same questions in the multi-layer case, regarding neural network applications.

研究の動機と目的

• 深層学習アーキテクチャにおける非線形ランダム行列モデルの漸近的経験的固有値分布を特徴づけること。
• 従来のガウスランダム行列に関する結果を、実解析的活性化関数を有するサブガウス重量行列へ拡張すること。
• 高次元漸近論における多層ニューラルネットワークモデルのスペクトル特性を分析すること。
• 深層アーキテクチャにおける経験的固有値分布のモーメント収束および分散バウンドを確立すること。

提案手法

• 適切なグラフを用いたモーメントの図式展開を用いて、漸近的固有値分布を計算する。
• 集中不等式およびサブガウス尾部バウンドを用いて、行列成分のフラクチュエーションを制御する。
• 解析的活性化関数の多項式近似を用いて、極限における非線形性を扱う。
• グラフ対間の消えない共分散項を特定することで、モーメントの分散を分析する。
• 経験的モーメントの分散バウンドを導出し、マーチェンコ＝パストールに類似した極限への収束を示す。
• 再帰的層別解析を用いて、単一層から多層モデルへ結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 重みがガウス的ではなくサブガウス的である場合、非線形ランダム行列の経験的固有値分布は大規模次元極限においてどのように振る舞うか？
• RQ2 行列 $ \frac{1}{m} Y^*Y $ の極限スペクトル分布は何か、ここで $ Y = f(WX) $、$ f $ は実解析的関数であり、$ W,X $ は独立同分布のサブガウス成分を有する。
• RQ3 漸近的状態において、深層ニューラルネットワークのスペクトル特性は活性化関数の選択にどのように依存するか？
• RQ4 多層モデルにおいて、経験的モーメントがその決定的極限に収束する速度は何か？
• RQ5 ネットワークの深さおよび活性化関数の性質に関して、経験的固有値モーメントの分散をバウンドすることは可能か？

主な発見

• サブガウス的である場合でさえも、$ \frac{1}{m} Y^*Y $ の漸近的経験的固有値分布は、活性化関数 $ f $ に依存する決定的極限に収束する。
• 次数が $ \frac{1}{L-1} \log n_1 / \log \log n_1 $ 未満の多項式活性化関数に対しては、極限モーメントが適切な形状パrameterを有するマーチェンコ＝パストール分布と一致する。
• q次の経験的モーメントの分散は $ O\left( \frac{k^{4L+4}}{n_0^2} \right) $ でバウンドされ、適切なスケーリングのもとで収束を保証する。
• 有界な解析的 $ f $ に対して、真の行列成分と近似成分との差は任意の多項式よりも速く減少し、モーメントの収束を可能にする。
• モーメント分散の主な寄与は、特にサブガウス尾部減衰に起因する、最後の2層間の同一化に起因する。
• 高確率で、各層の重み付き和は有界のままであり、スペクトル分布の安定性と収束を保証する。