[논문 리뷰] Generalized Denoising Auto-Encoders as Generative Models

Yoshua Bengio, Li Yao외 2명|arXiv (Cornell University)|2013. 05. 29.

Neural Networks and Applications참고 문헌 20인용 수 210

한 줄 요약

이 논문은 진짜 데이터 생성 분포를 추정하는 확률적 추정기로써 노이즈 제거 오토인코더(DAE)의 과정을 일반화한 프레임워크를 제안한다. DAE의 조건부 복원 분포 $P(X|\tilde{X})$와 오염 과정 ${\cal C}(\tilde{X}|X)$ 사이를 번갈아 샘플링함으로써 수렴하는 마르코프 체인은 임의의 오염 및 손실 함수를 가진 이산 및 연속 데이터 모두에서 효과적인 생성 샘플링을 가능하게 한다.

ABSTRACT

Recent work has shown how denoising and contractive autoencoders implicitly capture the structure of the data-generating density, in the case where the corruption noise is Gaussian, the reconstruction error is the squared error, and the data is continuous-valued. This has led to various proposals for sampling from this implicitly learned density function, using Langevin and Metropolis-Hastings MCMC. However, it remained unclear how to connect the training procedure of regularized auto-encoders to the implicit estimation of the underlying data-generating distribution when the data are discrete, or using other forms of corruption process and reconstruction errors. Another issue is the mathematical justification which is only valid in the limit of small corruption noise. We propose here a different attack on the problem, which deals with all these issues: arbitrary (but noisy enough) corruption, arbitrary reconstruction loss (seen as a log-likelihood), handling both discrete and continuous-valued variables, and removing the bias due to non-infinitesimal corruption noise (or non-infinitesimal contractive penalty).

연구 동기 및 목표

• 노이즈 제거 오토인코더의 공식적인 확률적 해석을 제공함으로써 기존의 가우시안 노이즈와 제곱 오차를 넘어서 임의의 데이터 유형과 오염 과정으로까지 확장한다.
• 이전 연구에서 요구한 무한소 노이즈와 특정 손실 함수의 제약을 제거하기 위해, DAE를 암묵적 밀도 추정기로 간주하는 일반적인 이론적 기반을 구축한다.
• 비무한소 노이즈 조건이 없더라도, DAE의 복원 모델 $P(X|\tilde{X})$와 오염 과정 ${\cal C}(\tilde{X}|X)$를 번갈아 사용하는 마르코프 체인을 통해 효과적인 생성 샘플링을 가능하게 한다.
• 비모수적 인공 데이터와 실제 데이터(MNIST 등)에 대해 실증적으로 검증하여 방법의 강건성과 향상된 샘플 품질을 입증한다.
• 모델 자체의 복원 결과를 이용해 오염 과정을 정의하는 새로운 학습 절차인 워크백 학습을 도입함으로써 수렴성과 샘플 품질을 향상시킨다.

제안 방법

• 핵심 방법은 DAE를 조건부 모델 $P(X|\tilde{X})$로 간주하여, 임의의 오염 과정 ${\cal C}(\tilde{X}|X)$가 넓은 지지를 가지는 조건에서 오염된 입력 $\tilde{X}$로부터 원본 입력 $X$를 복원하도록 학습하는 것이다.
• 마르코프 체인은 (1) DAE의 복원 분포 $P(X|\tilde{X})$에서 $X$를 샘플링하고, (2) 오염 과정 ${\cal C}(\tilde{X}|X)$에서 $\tilde{X}$를 샘플링하는 방식으로 번갈아 구성되며, 이는 진짜 데이터 분포 $P(X)$로 수렴함을 보장한다.
• 모든 복원 손실이 로그우도로 간주될 수 있도록 하여, 이는 이산 데이터(예: 베르누이 분포)와 비가우시안 오염(예: 소금과胡椒 노이즈)에서도 사용 가능하게 한다.
• 오염 과정에 대한 약한 조건 하에서 마르코프 체인의 정적 분포가 진짜 데이터 분포 $P(X)$와 일치함을 보여 이론적 근거를 제공한다.
• 워크백 학습 절차를 도입하여, 오염 과정을 DAE 자체의 복원 결과로 정의함으로써 대trastive divergence를 모방하고 학습 안정성 및 샘플 품질을 향상시킨다.
• 실증적 검증은 비모수적 모델(예: 다항분포, 파르젠 추정기)과 딥 네ural 네트워크를 사용한 모수적 DAE를 MNIST 및 합성 데이터에 적용하여 수행된다.

실험 결과

연구 질문

• RQ1 노이즈 제거 오토인코더는 임의의 데이터 유형과 오염 과정에 대해 암묵적 밀도 추정기로 공식적으로 해석될 수 있는가?
• RQ2 비무한소 노이즈 조건이 없더라도, $P(X|\tilde{X})$와 ${\cal C}(\tilde{X}|X)$를 번갈아 사용하는 마르코프 체인이 진짜 데이터 생성 분포 $P(X)$로 수렴하는가?
• RQ3 이 프레임워크는 교차 엔트로피와 같은 임의의 복원 손실을 포함하여 사용할 수 있으며, 여전히 유효한 생성 샘플링을 가능하게 하는가?
• RQ4 제안된 워크백 학습 절차는 표준 DAE 학습 대비 수렴 속도와 샘플 품질 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 MNIST와 같은 실제 데이터에서 고품질 샘플을 생성할 수 있으며, RBM과 같은 최첨단 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• DAE의 복원 분포 $P(X|\tilde{X})$와 오염 과정 ${\cal C}(\bar{X}|X)$를 번갈아 사용하는 마르코프 체인이 진짜 데이터 분포 $P(X)$로 수렴함을 보여, 생성 샘플링에 대한 탄탄한 이론적 기반을 제공한다.
• 소금과胡椒 노이즈(50% 오염)가 적용된 바이너리 MNIST에서 워크백 학습을 사용한 DAE는 비모수적 로그우도 한계 -116을 기록했고, 그렇지 않은 경우 -142를 기록했으며, 블러링 이전의 기준 RBM의 -233를 초월했다.
• RBM 샘플에 공간 블러(Gaussian 컨볼루션)를 적용한 결과 로그우도 한계는 -112로 향상되었지만, DAE에선 이러한 향상이 관찰되지 않아 DAE 샘플이 이미 고품질임을 시사한다.
• 워크백 학습 절차는 시각적 검토와 정량적 로그우도 한계 측정을 통해 표준 샘플링 대비 더 적은 잡음성 샘플을 생성함을 확인했다.
• 10개의 이산 값과 10차원 연속 데이터를 가진 합성 데이터에서 진짜 데이터 분포를 성공적으로 복원하여 비모수적 설정의 유효성을 검증했다.
• 이론적 프레임워크는 이전 결과를 일반화하여 무한소 노이즈가 필요하거나 가우시안 오염 또는 제곱 오차에 국한되지 않는 조건을 제거함으로써 실제 데이터에 더 넓은 적용 가능성을 제공한다.