[論文レビュー] Nonparametric regression using over-parameterized shallow ReLU neural networks

Yunfei Yang, Ding‐Xuan Zhou|arXiv (Cornell University)|Jun 14, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、重み制約を伴う過剰にパラメータ化された浅いReLUニューラルネットワークが、ホルダー空間および変動関数空間上での非パラメトリック回帰において、ミニマックス最適収束速度を達成することを示している。局所的ラデマッハ複雑度とノルムに基づく正則化を活用することで、$ \alpha < (d+3)/2 $ のホルダー滑らかさ $ \alpha $ に対して、$ n^{-2\alpha/(d+2\alpha)} $ の最適収束率を確立した。これは、対数要因を除いて既知のミニマックス下界と一致する。

ABSTRACT

It is shown that over-parameterized neural networks can achieve minimax optimal rates of convergence (up to logarithmic factors) for learning functions from certain smooth function classes, if the weights are suitably constrained or regularized. Specifically, we consider the nonparametric regression of estimating an unknown $d$-variate function by using shallow ReLU neural networks. It is assumed that the regression function is from the Hölder space with smoothness $α&lt;(d+3)/2$ or a variation space corresponding to shallow neural networks, which can be viewed as an infinitely wide neural network. In this setting, we prove that least squares estimators based on shallow neural networks with certain norm constraints on the weights are minimax optimal, if the network width is sufficiently large. As a byproduct, we derive a new size-independent bound for the local Rademacher complexity of shallow ReLU neural networks, which may be of independent interest.

研究の動機と目的

• 理論的解析と実践的ディープラーニングのギャップを埋めるために、非パラメトリック回帰における過剰にパラメータ化された浅いReLUネットワークを研究すること。
• 広大で過剰にパラメータ化されたネットワーク上での制約付き最小二乗推定器が、ミニマックス最適レートを達成できることを示すこと。
• ネットワークサイズではなく重みノルムを用いて、近似誤差と一般化誤差のトレードオフを分析すること。
• 浅いReLUネットワークの局所的ラデマッハ複雑度に対する新しいサイズに依存しない境界を導出すること。これは、独立した理論的関心を有する。

提案手法

• 重みノルム $ \kappa(\theta) = \sum_{i=1}^N |a_i| \|w_i\|_2 \leq M $ を用いた制約付き最小二乗推定器を用いて、過剰にパラメータ化された浅いReLUネットワークを正則化する。
• 局所化技術を適用して関数クラスの局所的ラデマッハ複雑度を抑え、一般化誤差の制御を向上させる。
• チェーンイングの議論と対称化を用いて、制約付きパrameter空間上の経験プロセスを制御する。
• 浅いReLUネットワークの局所的ラデマッハ複雑度に対する新しいサイズに依存しない境界を導出し、無限大の幅を持つ設定を扱う上で不可欠である。
• スターエントロピー積分とメトリックエントロピーを用いて、重みノルムの観点から関数クラスの複雑度を制御する。
• 誤差を近似誤差と推定誤差に分解し、後者は局所化された複雑度境界によって制御する。

実験結果

リサーチクエスチョン

• RQ1 過剰にパラメータ化された浅いReLUニューラルネットワークは、非パラメトリック回帰においてミニマックス最適収束速度を達成できるか？
• RQ2 重みノルム $ \kappa(\theta) \leq M $ を用いた正則化は、過剰にパラメータ化された領域でも最適な一般化を可能にするか？
• RQ3 浅いReLUネットワークに対して、サイズに依存しない局所的ラデマッハ複雑度の境界を導出できるか？
• RQ4 重み制約下でのホルダー空間 $ \mathcal{H}^\alpha $ および変動空間 $ \mathcal{F}_\sigma(1) $ の回帰関数に対して、最適な収束速度は何か？
• RQ5 局所化技術の使用は、標準的な被覆数やVCベースの手法と比較して、一般化誤差境界をどのように改善するか？

主な発見

• 制約付き最小二乗推定器を用いた浅いReLUネットワークは、$ \alpha < (d+3)/2 $ のホルダー空間 $ \mathcal{H}^\alpha $ に属する関数に対して、ミニマックス最適レート $ n^{-2\alpha/(d+2\alpha)} $ を達成する。
• 変動空間 $ \mathcal{F}_\sigma(1) $ において、同様にミニマックス最適レート $ n^{-(d+3)/(2d+3)} $ を達成し、既知の下界と一致する。
• 浅いReLUネットワークの局所的ラデマッハ複雑度に対する新しいサイズに依存しない境界が導出され、ネットワーク幅とは無関係であり、過剰にパラメータ化された解析において不可欠である。
• 従来のネットワークサイズに基づく境界に代えて、複雑度推定における局所化技術の使用により、先行研究よりレートの向上が達成された。
• 分析により、一般化誤差はネットワークの深さや幅ではなく、重みノルムによって制御可能であることが示され、広大で過剰にパラメータ化されたネットワークの実践的成功を支持する。
• 関数クラスが十分に豊かで、ターゲット関数をよく近似できるように、ネットワーク幅 $ N $ が十分に大きいという仮定の下で、結果は成り立つ。