[論文レビュー] Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks

Fanghui Liu, Leello Dadi+1 more|arXiv (Cornell University)|Apr 29, 2024

Neural Networks and Applications被引用数 4

ひとこと要約

本稿は、ノルム制約付きの過パラメータ化された2層ReLUニューラルネットワークが、パスノルム（バロンノルムに同等）を活用することで、標本複雑性と一般化性能を向上させることを確立している。これにより、幅に依存しない収束性および$mathcal{O}(\epsilon^{-2d/(d+2)})$のオーダーのメトリックエントロピーの上限が得られ、カーネル法の$Omega(\epsilon^{-d})$スケーリングを上回る。一般モーメント仮説の下で一般化境界が$mathcal{O}(n^{-(d+2)/(2d+2)})$のレートで得られ、次元に適応した、改善された標本効率性が示された。

ABSTRACT

Recent studies show that a reproducing kernel Hilbert space (RKHS) is not a suitable space to model functions by neural networks as the curse of dimensionality (CoD) cannot be evaded when trying to approximate even a single ReLU neuron (Bach, 2017). In this paper, we study a suitable function space for over-parameterized two-layer neural networks with bounded norms (e.g., the path norm, the Barron norm) in the perspective of sample complexity and generalization properties. First, we show that the path norm (as well as the Barron norm) is able to obtain width-independence sample complexity bounds, which allows for uniform convergence guarantees. Based on this result, we derive the improved result of metric entropy for $ε$-covering up to $O(ε^{-\frac{2d}{d+2}})$ ($d$ is the input dimension and the depending constant is at most linear order of $d$) via the convex hull technique, which demonstrates the separation with kernel methods with $Ω(ε^{-d})$ to learn the target function in a Barron space. Second, this metric entropy result allows for building a sharper generalization bound under a general moment hypothesis setting, achieving the rate at $O(n^{-\frac{d+2}{2d+2}})$. Our analysis is novel in that it offers a sharper and refined estimation for metric entropy with a linear dimension dependence and unbounded sampling in the estimation of the sample error and the output error.

研究の動機と目的

• 過パラメータ化された2層ニューラルネットワークに対して、パスノルムやバロンノルムなどの有界ノルムをとる適切な関数空間を同定し、再帰的カーネルヒルバート空間（RKHS）やカーネル法の制限を克服すること。
• 特にパスノルムの下で、ノルム制約付き2層ネットワークが生成する関数クラスのメトリックエントロピーを分析し、その複雑性を定量化するとともに、カーネル法からの分離を示すこと。
• 制限的な仮定（例えば、サブガウス性）を避け、一般モーメント仮説の下で鋭い一般化境界を導出し、入力次元$d$に関する改善された標本複雑性スケーリングを示すこと。
• パスノルムが幅に依存しない一般化保証を可能にし、カーネル法に内在する次元の呪いを回避できることを示すこと。

提案手法

• 著者らは、凸包技法を用いて、パスノルムが有界な2層ReLUネットワークが定義する関数クラスのメトリックエントロピーを分析し、$mathcal{O}(\epsilon^{-2d/(d+2)})$の被覆数上限を導出している。
• 集中不等式とガウス過程のツールを用いて、標本誤差、出力誤差、正則化誤差の分析を統合することで、一般モーメント仮説の下で一般化境界を確立している。
• ベネットの不等式およびウーらの集中不等式を用いて、経験的リスクと真のリスクの乖離を制御し、入力次元$d$に明示的な依存関係を有している。
• 容量の尺度としてパスノルムが用いられ、関数クラスはバロン空間の部分集合として特徴付けられ、次元に適応した一般化境界が可能になった。
• 証明フレームワークは、ラデマッハ複雑度による出力誤差の上限と、パスノルムによる正則化誤差の制御を統合しており、$d$に依存する定数をきめ細かく制御している。
• パスノルムと活性化関数の構造を活用することで、以前の結果よりも$\bm{d}$に依存するより鋭いメトリックエントロピーの推定が達成された。

実験結果

リサーチクエスチョン

• RQ1 パスノルムまたはバロンノルムは、カーネル法に内在する次元の呪いを回避する2層ニューラルネットワークのための関数空間を提供できるか？
• RQ2 ノルム制約付き2層ReLUネットワークが生成する関数クラスのメトリックエントロピーは何か？ そして、入力次元$d$に対してどのようにスケーリングされるか？
• RQ3 サブガウス性や有界ノイズの仮定に代えて、一般モーメント仮説の下で一般化境界を導出できるか？ その結果得られるレートは何か？
• RQ4 高次元設定において、ノルム制約付き2層ネットワークの標本複雑性は、カーネル法と比べてどのように異なるか？
• RQ5 一般化誤差は、入力次元$d$、標本サイズ$n$、ノルム制約$B$にどのように依存するか？

主な発見

• パスノルム制約付き2層ReLUネットワークが定義する関数クラスのメトリックエントロピーは、$\mathcal{O}(\epsilon^{-2d/(d+2)})$で抑えられ、カーネル法の$\Omega(\epsilon^{-d})$スケーリングに比べて顕著に優れている。
• 一般モーメント仮説の下で、一般化誤差は$\mathcal{O}(n^{-(d+2)/(2d+2)})$のレートに達し、カーネル法の最小最大下界$\Omega(n^{-1/d})$を上回る。
• パスノルム制約のおかげで、標本複雑性は幅に依存せず、異なるネットワーク幅にわたり一様収束保証が可能である。
• 一般化境界は一般モーメント条件の下で導出されており、サブガウス性や有界性といった制限的な仮定を避け、境界は明示的に入力次元$d$に依存している。
• 正則化誤差はパスノルムによって制御され、出力誤差は集中不等式によって上限が与えられ、定数は$d$に対して多項式的依存関係を示している。
• 境界に含まれる指数関数的減衰項$\exp(-B/(4CM^2))$は、大きなノルム制約$B$に対して高速収束を示し、良好に正則化されたモデルにおける強力な一般化性能を示している。