[論文レビュー] Over Parameterized Two-level Neural Networks Can Learn Near Optimal Feature Representations

Cong Fang, Hanze Dong+1 more|arXiv (Cornell University)|Oct 25, 2019

Advanced Neural Network Applications参考文献 42被引用数 11

ひとこと要約

本論文は、過剰パラメータ化された2層ニューラルネットワークが近似的に最適な特徴表現を学習する理由を説明するための新しい理論的枠組みである「ニューラル特徴再配置（neural feature repopulation）」を導入する。無限大の幅における極限を分析することで、確率的勾配降下法が明確に定義されたほぼ最適な特徴分布に収束することを示し、実データセット上での実証的検証により理論の予測が実際の結果と整合していることを確認した。

ABSTRACT

Recently, over-parameterized neural networks have been extensively analyzed in the literature. However, the previous studies cannot satisfactorily explain why fully trained neural networks are successful in practice. In this paper, we present a new theoretical framework for analyzing over-parameterized neural networks which we call neural feature repopulation. Our analysis can satisfactorily explain the empirical success of two level neural networks that are trained by standard learning algorithms. Our key theoretical result is that in the limit of infinite number of hidden neurons, over-parameterized two-level neural networks trained via the standard (noisy) gradient descent learns a well-defined feature distribution (population), and the limiting feature distribution is nearly optimal for the underlying learning task under certain conditions. Empirical studies confirm that predictions of our theory are consistent with the results observed in real practice.

研究の動機と目的

• 非凸な最適化のランドスケープにもかかわらず、実用的に成功する過剰パラメータ化ニューラルネットワークの理論的理解の欠落を埋める。
• 標準的な学習アルゴリズムを用いて2層ニューラルネットワークが高品質で近似的に最適な特徴表現をどのように学習するかを説明する。
• 特徴学習と線形分類を分離し、正則化を明示的に組み込む新しい理論的枠組み「ニューラル特徴再配置」を構築する。
• 過剰パラメータ化ネットワークの極限的挙動が、特徴分布上の凸最適化問題に対応することを示す。
• 実世界のデータセットにおける観察された学習ダイナミクスと特徴品質との整合性を示すことで、理論を実証的に検証する。

提案手法

• 2層ニューラルネットワークの無限大の幅極限を、特徴分布上の連続的最適化問題として形式化する。
• 特徴分布上の期待損失をモデル化する集団レベルの目的関数を導入し、凸解析を可能にする。
• ノイズ付き勾配降下法を用いて特徴分布を最適化し、緩い条件下でもほぼ最適解への収束を示す。
• 正則化（例：重み減衰）を特徴学習プロセスに明示的に組み込み、ニューロンの有効な重要性と関連付ける。
• 特徴再配置実験（学習済み分布から特徴をサンプリングし、ランダムまたは一様サンプリングと性能を比較）により理論を実証的に検証する。
• t-SNEおよび2次元投影を用いて学習済み特徴を可視化し、分類の分離性が向上していることを示す。

実験結果

リサーチクエスチョン

• RQ1 過剰パラメータ化された2層ニューラルネットワークは、標準的な学習プロセスにおいてどのように特徴表現を学習するか？
• RQ2 これらのネットワークが学習する特徴が、下流の分類タスクに有用なのはなぜか？
• RQ3 広いニューラルネットワークの学習ダイナミクスは、特徴分布上の極限的凸最適化問題で説明可能か？
• RQ4 正則化は、有効な特徴分布およびニューロンの重要性をどのように規定するか？
• RQ5 理論的予測である特徴再配置の結果が、実際の学習プロセスにおける観察結果とどの程度一致するか？

主な発見

• 無限大の幅極限において、(ノイズ付きの)勾配降下法で訓練された過剰パラメータ化2層ニューラルネットワークは、明確に定義されたほぼ最適な特徴分布に収束する。
• 理論的分析により、特徴学習が無限大の幅領域において凸的になることが示され、厳密な収束保証が可能になる。
• 実証的結果により、学習済み分布からサンプリングした特徴（特徴再配置）が、ランダムまたは一様にサンプリングした特徴よりも、訓練損失およびテスト誤差の観点で優れていることが確認された。
• 学習済みの大きさ（例：||u/m'||）に基づく重要度サンプリングは、特に強い正則化下で、一様サンプリングよりも著しく優れた性能を示した。
• 学習済み重み分布を用いた特徴初期化は、標準的なガウス初期化よりも収束が速く、一般化性能も優れた。
• 1層目の特徴のt-SNEおよび2次元可視化により、学習済み特徴はランダムまたは最適化された特徴単体よりも、分類の分離性が優れていることが示された。