[論文レビュー] The Gaussian equivalence of generative models for learning with shallow neural networks

Sebastian Goldt, Loureiro, Bruno+4 more|arXiv (Cornell University)|Jun 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 97被引用数 48

ひとこと要約

この論文は、データが潜在的ガウスベクトルが生成ネットワークを通して生成される教師-生徒設定を分析し、ガウス等価性フレームワークの下で浅いニューラルネットワークを学習することを研究する。

ABSTRACT

Understanding the impact of data structure on the computational tractability of learning is a key challenge for the theory of neural networks. Many theoretical works do not explicitly model training data, or assume that inputs are drawn component-wise independently from some simple probability distribution. Here, we go beyond this simple paradigm by studying the performance of neural networks trained on data drawn from pre-trained generative models. This is possible due to a Gaussian equivalence stating that the key metrics of interest, such as the training and test errors, can be fully captured by an appropriately chosen Gaussian model. We provide three strands of rigorous, analytical and numerical evidence corroborating this equivalence. First, we establish rigorous conditions for the Gaussian equivalence to hold in the case of single-layer generative models, as well as deterministic rates for convergence in distribution. Second, we leverage this equivalence to derive a closed set of equations describing the generalisation performance of two widely studied machine learning problems: two-layer neural networks trained using one-pass stochastic gradient descent, and full-batch pre-learned features or kernel methods. Finally, we perform experiments demonstrating how our theory applies to deep, pre-trained generative models. These results open a viable path to the theoretical study of machine learning models with realistic data.

研究の動機と目的

• 教師-生徒設定におけるi.i.d.仮定を超えた生成データによる学習を動機づける。
• データを x = G(c) として、c ~ N(0,I_D) かつラベルは2層の教師ネットワークから得られる。
• 固定特徴マップの後の2層ニューラルネットワークまたは固定特徴マップの後の単一層ネットワークのための閉形式の学習規則を導出する。
• 生成データの学習ダイナミクスをガウス近似が捕捉する条件を調査する。

提案手法

• データ生成過程を c ~ N(0,I_D) に続いて x = G(c) と定式化する。
• ラベル y を c に応答する2層教師ネットワークを用いて定義する。
• 閉形式で2層ニューラルネットワークを用いた学習を分析する。
• 固定特徴マップを介して射影した後の単一層ネットワークを用いた学習を分析する。
• 生成モデルを標準のガウス設定に関連付けるためにガウス等価原理を活用する可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 深層生成ネットワークで生成されたデータを用いた学習に対してガウス等価性は成立するか？
• RQ2 固定特徴マップを通じた射影は浅いネットワークの学習可能性にどのように影響するか？
• RQ3 この生成設定の下で2層および単一層ネットワークの閉形式の学習ダイナミクスは何か？
• RQ4 生成データをガウスとして扱い浅いネットワークを訓練できる条件は何か？

主な発見

• 浅層ネットワーク学習における生成モデルベースデータのガウス等価性の視点を確立する。
• 教師-生徒設定で2層ネットワークの閉形式学習式を導出する。
• 固定特徴マップの射影が単一層ネットワークの学習に与える影響を示す。
• 生成データをガウス近似ツールで分析できる条件について洞察を提供する。