[論文レビュー] Beyond Random Matrix Theory for Deep Networks

Diego Granziol|arXiv (Cornell University)|Jun 13, 2020

Random Matrices and Applications参考文献 46被引用数 7

ひとこと要約

本稿は、深層学習理論におけるWignerおよびMarcenko-Pasturの確率的行列集合の使用を挑戦し、訓練済みニューラルネットワークのヘシアン行列の経験的固有値密度が理論的予測から顕著に逸脱することを示している。本稿では、観測されたスペクトルとよりよく一致する製品型および透過的Wigner/Wishart集合を導入し、ゼロにおける離散的固有値ピークを予測することで、最適解間の低損失接続性を説明している。

ABSTRACT

We investigate whether the Wigner semi-circle and Marcenko-Pastur distributions, often used for deep neural network theoretical analysis, match empirically observed spectral densities. We find that even allowing for outliers, the observed spectral shapes strongly deviate from such theoretical predictions. This raises major questions about the usefulness of these models in deep learning. We further show that theoretical results, such as the layered nature of critical points, are strongly dependent on the use of the exact form of these limiting spectral densities. We consider two new classes of matrix ensembles; random Wigner/Wishart ensemble products and percolated Wigner/Wishart ensembles, both of which better match observed spectra. They also give large discrete spectral peaks at the origin, providing a theoretical explanation for the observation that various optima can be connected by one dimensional of low loss values. We further show that, in the case of a random matrix product, the weight of the discrete spectral component at $0$ depends on the ratio of the dimensions of the weight matrices.

研究の動機と目的

• 広く用いられている確率的行列集合（Wigner、Marcenko-Pastur）が、現実の深層ニューラルネットワークのヘシアン行列のスペクトル密度を正確に記述しているかどうかを評価すること。
• 非i.i.d.重みや外れ値といった現実的でない摂動が、層構造の臨界点に関する理論的主張の妥当性に与える影響を調査すること。
• 現代のネットワークにおける経験的観測されたヘシアンスペクトルとよりよく一致する代替の確率的行列集合を同定・検証すること。
• 最適解間の低損失接続性という経験的観察を、ゼロにおける理論的スペクトルピークによって説明すること。
• 理論的および経験的分析を用いて、ネットワークの深さと幅に伴うゼロにおけるスペクトル縮退の依存関係を定量化すること。

提案手法

• CIFAR-100およびMNISTでのVGG-16およびPreResNet-110の訓練済みモデルのヘシアン固有値密度を、正確およびサンプリングされたヘシアン計算を用いて経験的に測定する。
• Gaussian Orthogonal Ensemble (GOE)およびWishart集合からの理論的予測と観測されたスペクトルを比較する。
• 2つの新しい確率的行列集合（Wigner/Wishart行列の積、透過的Wigner/Wishart行列）を導入し、その分析を行う。
• 確率的行列積におけるゼロにおける離散的固有値成分の理論的式を導出し、行列次元比との依存関係を示す。
• ヒストограмムおよびヒートマップの可視化を用いて、層ごとのヘシアン行列におけるスパarsityと質量分布を評価する。
• 極値固有値の挙動、スペクトル端のスケーリングといった確率的行列理論の結果（例：極値固有値の挙動、スペクトル端のスケーリング）を用いて、実際のネットワークスペクトルにおける逸脱を解釈する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みの深層ニューラルネットワークのヘシアン行列のスペクトル密度は、確率的行列理論が予測するWignerの半円則またはMarcenko-Pastur則に従うか？
• RQ2 非i.i.d.重みおよび入力の仮定の違反、または外れ値の存在が、層構造の臨界点に関する理論的主張の妥当性に与える影響は何か？
• RQ3 特にWigner/Wishart行列の積または透過的形態といった代替の確率的行列集合が、経験的に観測されたヘシアンスペクトルをよりよく再現できるか？
• RQ4 ニューラルネットワークヘシアンに観察されたゼロにおける離散的スペクトルピークの理論的根拠は何か？また、低損失接続性とどのように関係しているか？
• RQ5 深層ネットワークにおける層の次元比に応じて、ゼロにおけるスペクトル成分の重みはどのように変化するか？

主な発見

• CIFAR-100における訓練済みVGG-16およびPreResNet-110の経験的ヘシアンスペクトルは、外れ値の補正を行っても、WignerおよびMarcenko-Pasturの予測から顕著に逸脱している。
• 非i.i.d.仮定に基づいて導出された深層ネットワークにおける層構造の臨界点構造に関する理論的主張は、これらの仮定が緩和されたり、外れ値が存在するようになると成立しなくなる。
• 標準的集合よりも、Wigner/Wishart行列の積および透過的集合が、観測されたヘシアンスペクトルとよりよく一致する。
• 両方の代替集合とも、ゼロにおける顕著な離散的スペクトル成分を予測し、最適解間の低損失接続性という経験的観察に対する理論的説明を提供する。
• 理論的仮定のもとで、ゼロにおけるスペクトル成分の質量はネットワークの深さに応じて増加し、層の次元比に依存することが示された。
• ヘシアン行列におけるスパarsityは存在するが、スペクトル形状の説明には不十分である—VGG-16では84±13%の要素が10⁻⁶未満であるが、スペクトルは非半円型のままである。