[論文レビュー] Symmetry & critical points for a model shallow neural network

Yossi Arjevani, Michael Field|arXiv (Cornell University)|Mar 23, 2020

Neural Networks and Applications参考文献 25被引用数 4

ひとこと要約

この論文は、k 個の隠れニューロンを持つ2層ReLUニューラルネットワークの臨界点を、対称性と群論を用いて分析し、それらを $k^{-1/2}$ のべき級数として表現する。その結果、偽の最小値は著しく異なることが明らかになった：一部の偽の最小値では損失が $k^{-1}$ の速度で減少するが、他の一部では正の定数に収束する。これは、最適化挙動においてすべての偽の最小値が等価ではないことを示している。

ABSTRACT

We consider the optimization problem associated with fitting two-layer ReLU networks with $k$ hidden neurons, where labels are assumed to be generated by a (teacher) neural network. We leverage the rich symmetry exhibited by such models to identify various families of critical points and express them as power series in $k^{-\frac{1}{2}}$. These expressions are then used to derive estimates for several related quantities which imply that not all spurious minima are alike. In particular, we show that while the loss function at certain types of spurious minima decays to zero like $k^{-1}$, in other cases the loss converges to a strictly positive constant. The methods used depend on symmetry, the geometry of group actions, bifurcation, and Artin's implicit function theorem.

研究の動機と目的

• 教師ネットワークによって生成されたデータに訓練された2層ReLUネットワークにおける臨界点の構造と多様性を理解すること。
• 群作用における幾何学的・対称的性質に基づいて臨界点を分類すること。
• 隠れニューロン数 $k$ の逆数の平方根 $k^{-1/2}$ のべき級数として臨界点の漸近展開を導出すること。
• 偽の最小値における損失値の差を定量化し、それらが一様に小さいわけではないことを示すこと。
• 一部の偽の最小値が持続的な非ゼロ損失を持つため、根本的に他のものよりも悪いことの裏付けをとること。

提案手法

• k ニューロンを持つReLUネットワークの固有の対称性を活用し、群作用の幾何学を用いて臨界点の族を同定すること。
• アーティンの陰関数定理を適用して、臨界点を $k^{-1/2}$ のべき級数として局所的にパラメータ化すること。
• 分岐理論を用いて、$k$ の増加に伴う臨界点の出現と変容を分析すること。
• 大 $k$ の極限における臨界点およびそれに関連する損失値の漸近的表現を導出すること。
• 異なる種類の偽の最小値における損失関数の分析を通じて、損失の減少率を比較すること。
• 対称性を活用して最適化の多様性を低次元化し、重要な臨界構成を特定すること。

実験結果

リサーチクエスチョン

• RQ1 k 個のニューロンを持つ2層ReLUネットワークの臨界点は、モデルの元々の対称性にどのように依存するか？
• RQ2 臨界点の漸近的挙動は $k \to \infty$ のときどうなるか？また、それらはどのようにパラメータ化できるか？
• RQ3 すべての偽の最小値が類似した損失値をもたらすのか、それとも最適化の質において顕著な差があるのか？
• RQ4 偽の最小値における損失は、異なる減少率で特徴づけられるのか？そのような減少率は何かによって決定されるのか？
• RQ5 群作用の幾何学は、浅いReLUネットワークにおける臨界点構造の整理にどのような役割を果たすのか？

主な発見

• 2層ReLUネットワークにおける臨界点は、対称性に基づいて明確に分類された族に分けられ、各族は $k^{-1/2}$ のべき級数展開を有する。
• 一部の偽の最小値では、損失が $k^{-1}$ の速度でゼロに収束するため、大 $k$ の極限において有利な最適化特性を示す。
• 一方、他の偽の最小値では、正の定数に収束する損失を示し、持続的な最適化誤差が生じることを示している。
• これらの結果は、偽の最小値が一様に問題であるわけではないことを示しており、最終的な損失の観点から一部の偽の最小値は他のものよりも著しく悪いことが明らかになった。
• 対称性とアーティンの陰関数定理の活用により、非凸的かつ高次元の最適化多様性における臨界点の厳密な漸近的解析が可能になった。
• 群作用の幾何学は、浅いニューラルネットワークにおける臨界点の構造的整理と多様性を理解するための枠組みを提供している。