[논문 리뷰] Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders

Yoshua Bengio, Guillaume Alain외 1명|arXiv (Cornell University)|2012. 06. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 15

한 줄 요약

이 논문은 최대우도 밀도 추정의 새로운 대안으로 국소 모멘트 매칭을 제안하며, 수축성 및 노이즈 제거 오토인코더가 데이터 생성 밀도의 국소 평균과 공분산을 암묵적으로 추정한다는 것을 보여준다. 상태에 의존하는 가우시안 제안을 사용하는 마르코프 체인에서 이러한 추정기들을 활용함으로써, 모델의 암묵적 밀도로부터 샘플링이 가능해지며, 이는 수축성 및 노이즈 제거 오토인코더 모두의 샘플링 알고리즘을 정당화하고 확장한다.

ABSTRACT

Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of the unknown data generating density. This paper contributes to the mathematical understanding of this phenomenon and helps define better justified sampling algorithms for deep learning based on auto-encoder variants. We consider an MCMC where each step samples from a Gaussian whose mean and covariance matrix depend on the previous state, defines through its asymptotic distribution a target density. First, we show that good choices (in the sense of consistency) for these mean and covariance functions are the local expected value and local covariance under that target density. Then we show that an auto-encoder with a contractive penalty captures estimators of these local moments in its reconstruction function and its Jacobian. A contribution of this work is thus a novel alternative to maximum-likelihood density estimation, which we call local moment matching. It also justifies a recently proposed sampling algorithm for the Contractive Auto-Encoder and extends it to the Denoising Auto-Encoder.

연구 동기 및 목표

• 오토인코더 학습과 국소 모멘트 추정을 통한 암묵적 밀도 추정 간의 관계를 형식화한다.
• 이론적 일致성 논증을 통해 수축성 오토인코더에 대해 제안된 샘플링 알고리즘을 정당화한다.
• 수축성 오토인코더와 동일하게 국소 모멘트를 추정함을 보여줌으로써 샘플링 방법론을 노이즈 제거 오토인코더로 확장한다.
• 분할 함수 계산이 필요 없이 오토인코더를 암묵적 밀도 모델로 사용하기 위한 이론적 기초를 마련한다.
• 수축성 및 노이즈 제거 오토인코더의 복원 및 야코비안 함수가 목표 밀도 하에서 국소 평균과 공분산의 일致한 추정기임을 입증한다.

제안 방법

• 목표 밀도 하에서 현재 상태의 국소 모멘트로부터 유도된 평균과 공분산을 갖는 가우시안에서 샘플을 추출하는 마르코프 체인을 제안한다.
• 이러한 체인에 대한 최적의 평균 및 공분산 함수는 목표 밀도의 국소 기대값과 국소 공분산임을 보여준다.
• 수축성 오토인코더가 수축성 페널티 하에서 복원 함수와 그 야코비안을 통해 이러한 국소 모멘트를 추정함을 보여준다.
• 작은 가우시안 노이즈와 제곱 오차를 사용할 때, 노이즈 제거 오토인코더가 수축성 오토인코더와 동일하게 행동하며, 수축 페널티가 노이즈 분산과 같아짐을 증명한다.
• 수축 정규화를 통한 재구성 오차의 비모수적 최소화를 통해 오토인코더의 파라미터에서 국소 모멘트의 추정기들을 유도한다.
• 마르코프 체인의 단계 크기를 제어하는 하이퍼파ram터를 사용하며, 생성된 샘플에 대해 파르젠 창을 사용한 로그우도 추정을 통해 최적화한다.

실험 결과

연구 질문

• RQ1 수축성 및 노이즈 제거 오토인코더는 데이터 생성 밀도의 국소 모멘트(평균 및 공분산)를 암묵적으로 추정할 수 있는가?
• RQ2 추정된 국소 모멘트를 제안 파rameter로 사용하는 마르코프 체인이 목표 밀도와 일致하는 분포로 수렴하는가?
• RQ3 수축성 오토인코더에 대한 샘플링 알고리즘이 노이즈 제거 오토인코더로 확장될 수 있는가?
• RQ4 복원 함수와 그 야코비안을 국소 모멘트의 추정기로 사용하는 데 이론적 정당성은 무엇인가?
• RQ5 모수적 모델을 사용할 경우 비모수적 극한 대비 국소 모멘트 추정의 일치성은 어떻게 영향을 받는가?

주요 결과

• 작은 가우시안 편향과 제곱 오차 손실을 갖는 수축성 및 노이즈 제거 오토인코더는 데이터 생성 밀도의 국소 평균과 공분산을 암묵적으로 추정한다.
• 체인이 추정된 국소 모멘트를 제안 파rameter로 사용할 경우, 제안된 마르코프 체인의 점근적 분포는 목표 밀도와 일치한다.
• 작은 노이즈를 갖는 노이즈 제거 오토인코더는 수축 페널티가 노이즈 분산과 같은 수축성 오토인코더와 수학적으로 동일하다.
• 수축성 또는 노이즈 제거 오토인코더의 복원 함수와 그 야코비안은 목표 밀도 하에서 국소 기대값과 국소 공분산의 일치한 추정기이다.
• 상태에 의존하는 가우시안 제안을 사용하는 마르코프 체인을 통해 모델에서 샘플링을 수행하면, MNIST 및 토리onto 얼굴 데이터셋에서 검증된 바와 같이 고품질의 현실적인 샘플을 생성할 수 있다.
• 이 방법은 계산이 불가능한 분할 함수 계산을 피하고 추론이 필요 없기에, 복잡한 모델에 적합하다.