[論文レビュー] The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks

Emmanuel Abbé, Enric Boix-Adserà+1 more|arXiv (Cornell University)|Feb 17, 2022

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、平均場的状態における2層ReLUニューラルネットワークにおいて、SGDがスパース関数を効率的に学習できるための必要かつほぼ十分な条件として、マージドステアケージ（merged-staircase）性質を導入する。非線形学習が本質的であることを示しており、線形手法（例：NTK）では失敗することを、次元に依存しないダイナミクス、多項式恒等式テスト、および反拡散境界を用いて証明する。

ABSTRACT

It is currently known how to characterize functions that neural networks can learn with SGD for two extremal parameterizations: neural networks in the linear regime, and neural networks with no structural constraints. However, for the main parametrization of interest (non-linear but regular networks) no tight characterization has yet been achieved, despite significant developments. We take a step in this direction by considering depth-2 neural networks trained by SGD in the mean-field regime. We consider functions on binary inputs that depend on a latent low-dimensional subspace (i.e., small number of coordinates). This regime is of interest since it is poorly understood how neural networks routinely tackle high-dimensional datasets and adapt to latent low-dimensional structure without suffering from the curse of dimensionality. Accordingly, we study SGD-learnability with $O(d)$ sample complexity in a large ambient dimension $d$. Our main results characterize a hierarchical property, the "merged-staircase property", that is both necessary and nearly sufficient for learning in this setting. We further show that non-linear training is necessary: for this class of functions, linear methods on any feature map (e.g., the NTK) are not capable of learning efficiently. The key tools are a new "dimension-free" dynamics approximation result that applies to functions defined on a latent space of low-dimension, a proof of global convergence based on polynomial identity testing, and an improvement of lower bounds against linear methods for non-almost orthogonal functions.

研究の動機と目的

• 非線形で正則な2層ニューラルネットワークにおいて、SGDがどのスパース関数を効率的に学習できるかを同定すること。
• 既知の線形的状態（例：NTK）と制約なしのネットワークの間のギャップを埋めるために、平均場的状態を分析すること。
• 線形手法（NTKを含む）が、最適な特徴マップを用いても、特定のスパース関数を効率的に学習できないことを示すこと。
• 次元に依存しないダイナミクスと多項式近似を用いた、SGD収束を分析する新しい理論的枠組みを構築すること。

提案手法

• 関数のフーリエ係数が低次元の潜在的部分空間上で示す階層的構造を特徴とする、新規の「マージドステアケージ性質」を提案し、学習可能性の主要条件とする。
• 潜在的な低次元構造に注目することで、次元に依存しないダイナミクス近似を導入し、高次元設定におけるSGDの解析を簡略化する。
• マージドステアケージ条件の下でSGDのグローバル収束を証明するために、多項式恒等式テストを用いる。
• 多項式の反拡散境界を用いて、特に非ほぼ直交関数に対して線形手法が失敗することを示し、下界を確立する。
• 平均場的PDE近似を用いて離散時間のSGDを分析し、活性化関数の摂動を伴う連続時間ダイナミクスの下で収束を証明する。
• 相互作用項を含まない簡略化されたダイナミクスに学習問題を還元することで、扱いやすい係数再帰関係を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2層ReLUネットワークにおける平均場的状態で、SGDがスパース関数を効率的に学習できるための関数の構造的性質は何か？
• RQ2 スパース関数を学習する際、非線形学習は根本的に必要なのか、それとも線形手法（例：NTK）でも同じサンプル複雑性を達成できるのか？
• RQ3 線形的極限と制約なしの極限の間の非線形で正則なネットワーク状態において、SGD学習可能性のタイトな特徴付けは可能か？
• RQ4 入力関数の潜在的な低次元構造が、高次元設定におけるSGDのダイナミクスと収束にどのように影響するか？
• RQ5 多項式近似と正規直交基底（例：レジェンドル多項式）は、学習可能性と下界の証明においてどのような役割を果たすか？

主な発見

• マージドステアケージ性質は、2層ReLUネットワークにおけるスパース関数の強力な$O(d)$-SGD学習可能性の必要かつほぼ十分な条件である。
• 非線形学習は証明的に必要である：任意の特徴マップ（NTKを含む）上で線形手法は、マージドステアケージ性質を満たす関数のクラスを効率的に学習できない。
• 次元に依存しないダイナミクス近似が確立され、環境次元$d$に依存しない解析が可能となり、低次元の潜在的構造を持つ関数に対して有効である。
• 多項式恒等式テストを用いて、マージドステアケージ条件の下でSGDのグローバル収束を証明し、この条件下で多項式時間内にターゲット関数を学習可能であることを示した。
• 多項式の反拡散境界が改善され、スパース状態における一般の非ほぼ直交関数に対して、線形手法が失敗することを示すのにも用いられた。
• 本稿では、バニラステアケージ関数と一般のマージドステアケージ関数が、離散的および連続的時間の両状態において、強く$O(d)$-SGD学習可能であることを証明した。