[論文レビュー] On Energy-Based Models with Overparametrized Shallow Neural Networks

Carles Domingo-Enrich, Alberto Bietti+2 more|arXiv (Cornell University)|Apr 15, 2021

Model Reduction and Neural Networks参考文献 50被引用数 4

ひとこと要約

本稿は過パラメータ化された浅いニューラルネットワークを用いたエネルギー関数モデル（EBMs）を研究し、訓練を「アクティブ」または「平均場」的状態に置くことで、『ラージ』またはカーネル的状態に比べて、低次元のデータ構造への適応性が向上することを示している。主な貢献は、変動ノルム関数空間（$\mathcal{F}_1$）を用いたEBMsが、埋め込み次元ではなく内挿次元に依存する一般化レートを達成することであり、構造的データに対して次元の呪いを克服することを示している。

ABSTRACT

Energy-based models (EBMs) are a simple yet powerful framework for generative modeling. They are based on a trainable energy function which defines an associated Gibbs measure, and they can be trained and sampled from via well-established statistical tools, such as MCMC. Neural networks may be used as energy function approximators, providing both a rich class of expressive models as well as a flexible device to incorporate data structure. In this work we focus on shallow neural networks. Building from the incipient theory of overparametrized neural networks, we show that models trained in the so-called "active" regime provide a statistical advantage over their associated "lazy" or kernel regime, leading to improved adaptivity to hidden low-dimensional structure in the data distribution, as already observed in supervised learning. Our study covers both maximum likelihood and Stein Discrepancy estimators, and we validate our theoretical results with numerical experiments on synthetic data.

研究の動機と目的

• 過パラメータ化された浅いニューラルネットワークで訓練されたエネルギー関数モデル（EBMs）の統計的および最適化的挙動を理解すること。
• 構造的データ分布を学習する際、EBMsの『アクティブ』（平均場）的状態と『ラージ』（カーネル）的状態の性能を比較すること。
• 埋め込み次元ではなく内挿次元に依存する一般化境界を、変動ノルム空間（$\mathcal{F}_1$）を用いたEBMsに対して確立すること。
• 低次元構造を持つ合成データに対して理論的知見を数値実験で検証すること。

提案手法

• 無限幅極限における最適化および一般化挙動を解析するため、過パラメータ化ニューラルネットワークの理論を用いる。
• フェンヒェル双対性および変分法を適用し、学習問題の双対形式を導出し、プライマルエネルギー関数とその双対測度を結びつける。
• 2つの訓練目的を検討する：MCMCによる最尤推定とスティーブ差分最小化、両者とも勾配降下法で最適化する。
• $\mathcal{F}_1$空間（変動ノルム）におけるエネルギー関数の挙動を分析し、$\mathcal{F}_2$空間（RKHS）と比較することで、$\mathcal{F}_1$が低次元構造に優れた適応性を示すことを示す。
• KLダイバージェンスおよびスティーブ差分に基づく一般化境界を導出し、それらが埋め込み次元$d$ではなく内挿次元$d^*$に依存することを示す。
• 平均場スケーリングを用いて、広い浅いネットワークのダイナミクスをモデル化し、アクティブ状態における特徴量学習の分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された浅いネットワークの『アクティブ』的状態でEBMsを訓練すると、構造的データに対して『ラージ』的状態に比べて一般化性能が向上するか？
• RQ2 変動ノルム空間（$\mathcal{F}_1$）は、低次元構造への適応性により、EBMsにおける次元の呪いを克服できるか？
• RQ3 最尤推定またはスティーブ差分最小化により訓練されたEBMsの一般化境界は、データの内挿次元にどのように依存するか？
• RQ4 関数クラス$\mathcal{F}_1$は、構造的エネルギー関数の効率的近似をどのように可能にするか？
• RQ5 EBMsの文脈において、$\mathcal{F}_1$クラスの理論的保証は、RKHSに基づく$\mathcal{F}_2$クラスと比べてどのように異なるか？

主な発見

• アクティブ状態で訓練されたEBMsの一般化境界は、埋め込み次元$d$ではなく内挿次元$d^*$に依存し、次元の呪いを克服する。
• $\mathcal{F}_1$関数クラスは、局所的相互作用やスパース射影によって定義されるような低次元構造を持つエネルギー関数の効率的近似を可能にする。
• 数値実験では、$\mathcal{F}_1$ベースのEBMsが低次元構造を持つ合成分布を正しく学習する一方で、$\mathcal{F}_2$ベースのモデルは失敗することが確認された。
• アクティブ状態は、特徴量学習を可能にし、データ内に隠された低次元多様体への適応性を向上させるため、統計的にラージ状態を上回る利点を有する。
• 変動形式の学習問題において強い双対性が成立し、最適解の存在を保証するとともに、神経ネットワークエネルギー関数によって学習されたギブス測度を特徴づける。
• アクティブ状態における学習済みエネルギー関数は、$\frac{1}{Z_{\beta}}\exp\left(-\beta\int\sigma(\langle\theta,x\rangle)\,d\mu^\star(\theta)\right)$の形を取り、双対測度$\mu^\star$と最終モデルを結びつける。