[논문 리뷰] Generative Modeling with Denoising Auto-Encoders and Langevin Sampling

Adam Block, Youssef Mroueh외 1명|arXiv (Cornell University)|2020. 01. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 11

한 줄 요약

이 논문은 노이즈 제거 오토에인코더(DAE)를 통한 스코어 추정과 샘플링을 위한 랭글레인 역동성의 조합으로 구성된 생성 모델링 프레임워크에 대한 이론적 보장을 수립한다. 생성된 분포와 진짜 데이터 분포 사이의 유한 샘플 워샤프스키-2 거리에 대한 경계를 증명함으로써, 확산 모델에서 경험적으로 성공한 호모토피 방법에 대한 첫 번째 엄밀한 정당화를 제공한다.

ABSTRACT

We study convergence of a generative modeling method that first estimates the score function of the distribution using Denoising Auto-Encoders (DAE) or Denoising Score Matching (DSM) and then employs Langevin diffusion for sampling. We show that both DAE and DSM provide estimates of the score of the Gaussian smoothed population density, allowing us to apply the machinery of Empirical Processes. We overcome the challenge of relying only on $L^2$ bounds on the score estimation error and provide finite-sample bounds in the Wasserstein distance between the law of the population distribution and the law of this sampling scheme. We then apply our results to the homotopy method of arXiv:1907.05600 and provide theoretical justification for its empirical success.

연구 동기 및 목표

• 노이즈 제거 오토에인코더(DAE)와 랭글레인 샘플링을 조합한 스코어 기반 생성 모델의 경험적 성공을 이론적으로 정당화하기 위해.
• 샘플링 기법과 진짜 데이터 분포 사이의 워샤프스키-2 거리에서의 유한 샘플 수렴 보장을 수립하기 위해.
• DAE로부터 유도된 $L^2$-일致성 스코어 추정자가 정확한 샘플링을 위해 충분함을 보여주며, 균일 오차 경계의 한계를 극복하기 위해.
• [SE19]에서 사용된 호모토피 방법의 이론적 기반을 제공하기 위해. 이 방법은 점진적인 노이즈 및 스텝 사이즈 조절을 통해 샘플링 품질을 향상시킨다.
• DAE가 실제로 무엇을 학습하는지 명확히 하기 위해: 진짜 데이터 분포의 가우시안 스무딩된 형태의 스코어를 추정하며, 스무딩된 측도에 대해 로그-소볼레프 부등식이 성립하는 조건을 제공한다.

제안 방법

• 노이즈 제거 오토에인코더(DAE)를 사용하여 데이터 분포의 스코어 함수를 추정하며, 이는 노이즈 제거 스코어 매칭(DSM) 손실 최소화와 동치임을 보여준다.
• 스텝 사이즈 $\eta_i$를 갖는 이산화된 랭글레인 확산 과정에 DAE로부터 유도된 스코어 추정치 $\widehat{f}_i(x) = \frac{1}{\sigma_i^2}(\widetilde{f}_i(x) - x)$ 를 적용한다.
• $\eta_i$와 $\sigma_i^2$가 감소하는 비내림차순의 호모토피 방법을 적용하여 $N$단계에 걸쳐 점차 노이즈와 스텝 사이즈를 줄여 샘플링의 안정성과 정확도를 향상시킨다.
• empirical process 이론과 스코어 추정의 $L^2$ 오차 경계를 활용하여 생성된 분포와 진짜 분포 사이의 유한 샘플 워샤프스키-2 거리 경계를 유도한다.
• 분산성과 로그-소볼레프 조건을 활용하여 랭글레인 과정의 모멘트와 尾행동을 제어함으로써, 모멘트 및 지수 모멘트 경계를 가능하게 한다.
• 워샤프스키 오차를 추정 오차와 샘플링 오차로 분해하며, $L^2$-근접한 스코어 추정치가 여전히 최종 샘플 분포에서 작은 워샤프스키 오차를 유도함을 보여준다.

실험 결과

연구 질문

• RQ1 DAE에서 유도된 $L^2$-일치 스코어 추정자가 유한 샘플 워샤프스키 거리에서 수렴 보장을 갖는 유효한 생성 모델을 제공할 수 있는가?
• RQ2 왜 호모토피 방법—점진적으로 노이즈와 스텝 사이즈를 줄이는 방법—은 실무에서 샘플링 품질을 향상시키는가? 이는 이론적으로 정당화될 수 있는가?
• RQ3 DAE는 실제로 어떤 분포를 추정하는가? 원래의 데이터 분포의 스코어를 학습하는가, 아니면 스무딩된 형태를 학습하는가?
• RQ4 가우시안 스무딩된 데이터 분포가 로그-소볼레프 부등식을 만족하는 조건은 무엇인가? 이는 농도 및 샘플링 보장을 위해 필수적이다.
• RQ5 비대칭 또는 기대값 기반 결과가 아닌, 유한 샘플 및 고확률 경계를 DAE 기반 생성 모델에 대해 유도할 수 있는가?

주요 결과

• 논문은 생성된 샘플링 기법의 법칙과 진짜 데이터 분포 사이의 워샤프스키-2 거리에 대해 처음으로 유한 샘플 및 고확률 경계를 수립한다.
• 일반적으로 DAE에서 생성되는 $L^2$-일치 스코어 추정자가 진짜 랭글레인 과정과 유사한 분포로 남아 있도록 보장하는 데 충분함을 증명한다.
• DAE 손실이 노이즈 제거 스코어 매칭(DSM) 손실 최소화와 동치임을 보이며, 인구 수준의 DAE는 가우시안 스무딩된 데이터 분포의 스코어를 비편향 추정자로 제공한다.
• 가우시안 스무딩된 분포가 로그-소볼레프 부등식을 만족하는 첫 번째 알려진 조건을 제시하며, 이는 더 강력한 농도 및 모멘트 경계를 가능하게 한다.
• 호모토피 방법의 성공은 추정 오차와 샘플링 오차를 분리하는 깔끔한 오차 분해를 통해 이론적으로 정당화되며, 점진적인 냉각이 총 분포 오차를 감소시킴을 보여준다.
• 분산성과 로그-소볼레프 가정 하에서 랭글레인 과정에 대해 모멘트 및 지수 모멘트 경계를 도출하였으며, 이는 워샤프스키 거리 제어에 필수적이다.