[논문 리뷰] The Gaussian equivalence of generative models for learning with shallow neural networks

Sebastian Goldt, Loureiro, Bruno외 4명|arXiv (Cornell University)|2020. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 97인용 수 48

한 줄 요약

이 논문은 잠재 가우시안 벡터가 생성 네트워크를 통해 생성된 데이터를 가진 교사-학생 설정을 분석하고, 가우시안 등가 프레임워크 하에서 얕은 신경망 학습을 연구한다.

ABSTRACT

Understanding the impact of data structure on the computational tractability of learning is a key challenge for the theory of neural networks. Many theoretical works do not explicitly model training data, or assume that inputs are drawn component-wise independently from some simple probability distribution. Here, we go beyond this simple paradigm by studying the performance of neural networks trained on data drawn from pre-trained generative models. This is possible due to a Gaussian equivalence stating that the key metrics of interest, such as the training and test errors, can be fully captured by an appropriately chosen Gaussian model. We provide three strands of rigorous, analytical and numerical evidence corroborating this equivalence. First, we establish rigorous conditions for the Gaussian equivalence to hold in the case of single-layer generative models, as well as deterministic rates for convergence in distribution. Second, we leverage this equivalence to derive a closed set of equations describing the generalisation performance of two widely studied machine learning problems: two-layer neural networks trained using one-pass stochastic gradient descent, and full-batch pre-learned features or kernel methods. Finally, we perform experiments demonstrating how our theory applies to deep, pre-trained generative models. These results open a viable path to the theoretical study of machine learning models with realistic data.

연구 동기 및 목표

• 교사-학생 설정에서 i.i.d. 가정 밖의 생성 데이터 학습을 동기부여한다.
• 데이터를 x = G(c)로 모델링하고 c ~ N(0,I_D) 및 레이블은 두 층의 교사 네트워크로부터 얻는다.
• 고정 피처 맵 후의 두 층 신경망 또는 단일 층의 폐쇄해를 도출한다.
• 가우시안 근사들이 생성 데이터의 학습 역학을 포착하는 조건을 조사한다.

제안 방법

• 데이터 생성 과정을 c ~ N(0,I_D) 다음에 x = G(c)로 형식화한다.
• 레이블 y를 c에 반응하는 두 층 교사 네트워크를 통해 정의한다.
• 폐쇄형으로 두 층 신경망의 학습을 분석한다.
• 고정 피처 맵을 통해 투영한 후 단일 층 네트워크의 학습을 분석한다.
• 생성 모델을 표준 가우시안 설정과 연결하기 위해 가우시안 등가 원리를 활용할 수 있다.

실험 결과

연구 질문

• RQ1 깊은 생성 네트워크로 생성된 데이터를 이용한 학습에 대해 가우시안 등가가 성립하는가?
• RQ2 고정 피처 맵 투영이 얕은 네트워크의 학습 가능성에 어떤 영향을 미치는가?
• RQ3 이 생성 설정에서 두 층 및 단일 층 네트워크의 폐쇄형 학습 역학은 무엇인가?
• RQ4 어떤 조건에서 생성 데이터를 얕은 네트워크 훈련을 위한 가우시안으로 간주할 수 있는가?

주요 결과

• 얕은 네트워크 학습에서 생성 모델 기반 데이터에 대한 가우시안 등가 관점을 확립한다.
• 교사-학생 설정에서 두 층 네트워크에 대한 폐쇄형 학습 표현식을 도출한다.
• 고정 피처 맵 투영이 단일 층 네트워크의 학습에 어떤 영향을 미치는지 보여준다.
• 생성 데이터를 가우시안 근사 도구로 분석할 수 있는 시기에 대한 통찰을 제공한다.