[論文レビュー] Bayes-optimal Learning of Deep Random Networks of Extensive-width

Hugo Cui, Florent Krząkała+1 more|arXiv (Cornell University)|Feb 1, 2023

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿は、ガウス入力を用いた深く広大な幅のランダムニューラルネットワークにおけるベイズ最適テスト誤差の閉形式表現を、新規のガウス同等性性質（GEP）の仮説を用いて導出する。リッジ回帰およびカーネル回帰が線形に増加するサンプルスケーリングの下でベイズ最適性を達成するのに対し、サンプル数が次元数よりも速く増加する場合にはニューラルネットワークがそれらを上回り、過パラメータ化された設定における優位性を示している。

ABSTRACT

We consider the problem of learning a target function corresponding to a deep, extensive-width, non-linear neural network with random Gaussian weights. We consider the asymptotic limit where the number of samples, the input dimension and the network width are proportionally large. We propose a closed-form expression for the Bayes-optimal test error, for regression and classification tasks. We further compute closed-form expressions for the test errors of ridge regression, kernel and random features regression. We find, in particular, that optimally regularized ridge regression, as well as kernel regression, achieve Bayes-optimal performances, while the logistic loss yields a near-optimal test error for classification. We further show numerically that when the number of samples grows faster than the dimension, ridge and kernel methods become suboptimal, while neural networks achieve test error close to zero from quadratically many samples.

研究の動機と目的

• ガウス入力を用いた深く広大な幅のランダムニューラルネットワークにおける情報理論的に最小のテスト誤差（ベイズ最適誤差）を特定すること。
• リッジ回帰やカーネル回帰といった標準的な経験的リスク最小化（ERM）手法が、このベイズ最適誤差に到達できるかどうかを同定すること。
• サンプル数が入力次元よりも速く増加する場合における線形手法とニューラルネットワークの性能差を調査すること。
• 深層ベイズガウス同等性性質（GEP）を用いて、深層学習における一般化の理論的基盤を確立すること。

提案手法

• ベイズ推論下での深層ランダムネットワークの出力統計がガウス過程に同等であると仮定する、深層ベイズガウス同等性性質（GEP）の仮説を提唱する。
• 統計力学および比例的領域（n ∝ d）における漸近的解析を用いて、回帰および分類におけるベイズ最適テスト誤差の閉形式表現を導出する。
• レプリカ法およびキャビティ法を用いて、リッジ回帰、カーネル回帰、およびランダム特徴量回帰の漸近的テスト誤差を計算する。
• 鞍点方程式およびモーメントマッチング技術を用いて、高次元極限におけるリッジ回帰およびロジスティック回帰の一般化誤差を特徴付ける。
• nがdよりも速く増加する領域を探索するため、数値シミュレーションを実施する。GEPの適用範囲を超える領域を対象とする。
• 無限幅極限におけるベイズ推論とカーネル手法の同等性に依拠し、ここでは広大な幅のネットワークに拡張する。

Figure 1: (solid lines) Theoretical predition for the Bayes MSE ( 12 ), for a one-hidden layer rectangular neural network ( $\gamma_{1}=1$ ) with shifted ReLU activation $\sigma_{1}(\cdot)=(\cdot)_{+}-\nicefrac{{1}}{{\sqrt{2\pi}}}$ . (red crosses) Monte Carlo simulations using the Gibbs sampling alg

実験結果

リサーチクエスチョン

• RQ1 広大な幅とガウス入力を有する深層ランダムニューラルネットワークにおける漸近的ベイズ最適テスト誤差は何か？
• RQ2 このようなネットワークにおいて、リッジ回帰およびカーネル回帰が比例的領域（n ∝ d）でベイズ最適誤差に到達できるか？
• RQ3 nがdよりも速く増加する場合、リッジおよびカーネル手法の性能は勾配学習によるニューラルネットワークと比べてどうなるか？
• RQ4 深層ベイズガウス同等性性質（GEP）は、閉形式誤差表現の導出を可能にする役割を果たすか？
• RQ5 ロジスティック回帰は、深層ランダムネットワークを用いた分類タスクでほぼ最適な性能を達成するか？

主な発見

• 回帰において、最適に正則化されたリッジ回帰およびカーネル回帰がベイズ最適誤差を達成し、最適正則化パラメータの閉形式表現が導出された。
• 分類において、リッジ回帰およびロジスティック回帰はベイズ最適誤差に近く、しかし等しくない誤差を示し、近似的最適性が示された。
• サンプル数が入力次元よりも速く増加する領域（n ≫ d）では、リッジおよびカーネル手法は非最適となり、勾配学習によるニューラルネットワークはゼロに近いテスト誤差を達成した。
• 深層ベイズガウス同等性性質（GEP）は、比例的領域で漸近的に成立すると仮定され、閉形式誤差表現の導出の基盤をなしている。
• 数値結果により、ニューラルネットワークが過パラメータ化領域で線形手法を著しく上回ることを確認し、その誘導的バイアスの優位性が浮き彫りになった。
• 本研究により、ガウス入力の仮定下で、線形推定器は線形のサンプル数では、ターゲットの広大な幅のネットワークの線形成分を超えて学習できないことが示された。

Figure 2: Targets ( 1 ) with $L=1$ (top) and $L=2$ (bottom) hidden layers , with $\sigma_{1,2}(x)=\tanh(2x)$ activation, widths $k_{1,2}=700$ , and $\Delta_{a}=\Delta_{1,2}=1,~{}\Delta=0$ , in dimension $d=500$ . The Bayes-optimal MSE ( 12 ) (dashed black) is contrasted to the replica predictions an