[論文レビュー] Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed

Maria Refinetti, Sebastian Goldt+2 more|arXiv (Cornell University)|Feb 23, 2021

Neural Networks and Applications参考文献 64被引用数 29

ひとこと要約

論文は、隠れニューロンが少数の2層ニューラルネットワークがハイディメンショナルGaussian混合タスクでカーネル/ランダム特徴学習を上回ることを示しており、限界D→∞における訓練ダイナミクスの閉じた集合のODE解析を提供する。

ABSTRACT

A recent series of theoretical works showed that the dynamics of neural networks with a certain initialisation are well-captured by kernel methods. Concurrent empirical work demonstrated that kernel methods can come close to the performance of neural networks on some image classification tasks. These results raise the question of whether neural networks only learn successfully if kernels also learn successfully, despite neural networks being more expressive. Here, we show theoretically that two-layer neural networks (2LNN) with only a few hidden neurons can beat the performance of kernel learning on a simple Gaussian mixture classification task. We study the high-dimensional limit where the number of samples is linearly proportional to the input dimension, and show that while small 2LNN achieve near-optimal performance on this task, lazy training approaches such as random features and kernel methods do not. Our analysis is based on the derivation of a closed set of equations that track the learning dynamics of the 2LNN and thus allow to extract the asymptotic performance of the network as a function of signal-to-noise ratio and other hyperparameters. We finally illustrate how over-parametrising the neural network leads to faster convergence, but does not improve its final performance.

研究の動機と目的

• ニューラルネットワークが高次元のGaussian混合においてカーネル法を上回ることがいつ可能かを動機づけ・定量化する。
• 高次元極限でオンラインSGD訓練を捉える扱いやすい動的システム（ODE）フレームワークを構築する。
• 同じレジームでニューラルネットとランダム特徴／カーネルを比較し、性能のスケーリング則を特定する。
• 過parameter化が収束速度と最終精度に及ぼす影響を調査する。

提案手法

• オンラインSGDにおける順序パラメータ（M, Q）と第二層重みvの進化を追跡する閉じたODE集合を導出する、K個の隠れユニットを持つ2LNNの場合。
• 学習ダイナミクスをN∝Dの高次元極限へ縮約し、PMSEと分類誤差を解析的に特徴付ける。
• 入力がラベルに条件付けされたGaussian混合を分析し、ODEの定常点から漸近的な性能を計算する。
• ランダム特徴を固定のランダム行列でP個の特徴への射影と線形読み出しの訓練でモデル化し、特徴共分散の固有分解を用いて高次元極限でRFの性能を導出する。
• カーネル／ランダム特徴限界（γ = P/D → ∞）と2LNNの性能を比較し、性能が信号対ノイズ比およびハイパーパラメータとどうスケールするかを検討する。
• 過parameter化が収束確率と最終誤差へ与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 高次元のGaussian混合に対して、少数の2層ニューラルネットワークはカーネルベースの学習を上回ることができるか？
• RQ2 D→∞、N∝Dの regimesでオンラインSGDで訓練された2LNNの漸近的学習ダイナミクスはどうなるか？
• RQ3 同じ高次元極限でランダム特徴とカーネル法は2LNNと比較してどう性能を示すか？
• RQ4 この設定で過parameterisationは収束速度と最終一般化にどう影響するか？

主な発見

• 少数の隠れニューロンを持つ2層ニューラルネットワークはXOR様のGaussian混合に対して約オラクル性能を達成する一方で、カーネル/ランダム特徴法はその性能に近づくにははるかに高いSNRを要する。
• 2LNNのダイナミクスは高次元極限で閉じたODE集合で捉えられ、長時間の性能を解析的に予測できる。
• 高次元領域ではサンプルサイズが超線形スケール（N=O(D^2)）でない限り、ランダム特徴とカーネル法はランダム推測を上回れず、信号対ノイズ比に依存して劣る。
• 過parameterisationはほぼ最適解へ収束する確率を高め、学習を加速するが、収束した場合の最終誤差を改善するわけではない。
• ランダム特徴では漸近的誤差はランダム特徴共分散の固有構造に依存する；大きなP極限（カーネル極限）では性能は回復するが、巨大なγとNが必要。
• この解析は、遅い学習（ケーネル/RF）モードが高次元で混合を実質的に線形変換へ写像し、中心が近い場合には非分離性を保つことを示している。