[論文レビュー] Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry

Yossi Arjevani, Michael Field|arXiv (Cornell University)|Aug 4, 2020

Physics of Superconductivity and Magnetism参考文献 37被引用数 4

ひとこと要約

この論文は、対称性と表現論を用いて、浅いReLUネットワークにおけるヘッセ固有値のスペクトルを、初めて厳密に解析的に特徴付けた。$ d \to k $ のとき、$ dk - O(d) $ 個の固有値がゼロ付近に集中するが、一方で $ \Omega(d) $ 個の固有値は $ k $ に比例して増大する。これは、長年にわたり観察されていた極端なスペクトル歪度を、証明可能な形で解明した。

ABSTRACT

We consider the optimization problem associated with fitting two-layers ReLU networks with respect to the squared loss, where labels are generated by a target network. We leverage the rich symmetry structure to analytically characterize the Hessian at various families of spurious minima in the natural regime where the number of inputs $d$ and the number of hidden neurons $k$ is finite. In particular, we prove that for $d\ge k$ standard Gaussian inputs: (a) of the $dk$ eigenvalues of the Hessian, $dk - O(d)$ concentrate near zero, (b) $Ω(d)$ of the eigenvalues grow linearly with $k$. Although this phenomenon of extremely skewed spectrum has been observed many times before, to our knowledge, this is the first time it has been established {rigorously}. Our analytic approach uses techniques, new to the field, from symmetry breaking and representation theory, and carries important implications for our ability to argue about statistical generalization through local curvature.

研究の動機と目的

• 有限な $ d $ および $ k $ を持つ2層ReLUネットワークにおける臨界点におけるヘッセ固有値スペクトルを、解析的に特徴付けること。
• ヘッセ固有値の大部分がゼロに近く、わずか数個が大きいという、長年にわたり観察されてきた極端なスペクトル歪度の現象を、厳密な解析によって解明すること。
• 群の対称性と表現論に基づく、誤り最小値におけるヘッセ行列を分解するための新規フレームワークを構築すること。
• 正確な固有値スペクトル結果を用いて、深層学習における曲率、最適化、一般化に関する長年の仮説を検証すること。
• $ d \geq k \geq 6 $ の場合に、タイプA、I、IIの誤り最小値が存在し、それらのスペクトル的性質を確立すること。

提案手法

• 重み行列 $ \mathbf{W} $ の行および列の置換に対する損失関数の不変性（$ S_k \times S_d $ 対称性）を活用すること。
• 表現論を用いてヘッセ行列を同型成分に分解し、臨界点における正確な固有値解析を可能にすること。
• $ 1/\sqrt{k} $ のべき級数展開を用いて、臨界点およびそのヘッセ構造を記述すること。
• 重みベクトル間の角度 $ \theta_{\mathbf{w}_i, \mathbf{w}_j} $ や重みベクトルのノルムといった幾何的量を用いて、ヘッセ行列のブロックを明示的に表現すること。
• $ S_k $-表現を用いて、特に $ H_{k-1} $ および $ T $ を通じて、対称な臨界点における固有値を計算すること。
• 訓練済みモデルを摂動させ、予測値周辺に固有値がクラスタリングすることを観察することで、結果の数値的妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 有限な $ d $ および $ k $ を持つ浅いReLUネットワークにおける誤り最小値におけるヘッセ固有値スペクトルの解析的構造は何か？
• RQ2 なぜ実験的調査では、大部分の固有値がゼロに近く、わずか数個が大きいという極めて歪んだヘッセ固有値スペクトルが一貫して観察されるのか？
• RQ3 生徒・教師ReLUモデルの対称性を用いて、臨界点におけるヘッセ行列の正確な固有値結果を導出可能か？
• RQ4 タイプA、I、IIの誤り最小値は $ d \geq k \geq 6 $ の場合に存在するのか？ そのスペクトル的性質は何か？
• RQ5 グローバル最小値と誤り最小値のスペクトル的性質を比較すると、平坦な最小値仮説にどのような含意があるか？

主な発見

• $ d \geq k $ のとき、ヘッセ行列の $ dk - O(d) $ 個の固有値がゼロ付近に集中し、巨大な核空間を示している。
• 少なくとも $ \Omega(d) $ 個の固有値が $ k $ に比例して増大しており、これは少数の大きな曲率方向が存在することを確認している。
• タイプIIの誤り最小値は $ k+1 $ 個の外れ固有値を示す：そのうち $ k $ 個が $ k/4 $ のスケールで増大し、1個が $ k/(2\pi) $ のスケールで増大する。
• タイプAの誤り最小値は $ k $ 個の固有値が $ k/4 $ のスケールで増大し、1個が $ (k+1)/4 $ で増大するが、$ O(k^{-1/2}) $ 階の小さな補正項を伴う。
• グローバル最小値とタイプAの誤り最小値のヘッセ固有値スペクトルは $ k=50 $ 時にほとんど区別がつかないため、平坦な最小値仮説に疑問を呈する。
• $ \widetilde{\mathbf{W}} = \widetilde{\mathbf{V}} $ におけるヘッセ行列の固有値は、$ 1/4 $（重複度 $ m(k-1) $）および $ (k+2)/4 $（重複度 $ m $）であり、$ S_k $-表現の分解から導出された。