[논문 리뷰] Regularized Auto-Encoders Estimate Local Statistics

Guillaume Alain, Yoshua Bengio외 1명|arXiv (Cornell University)|2012. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 정규화된 오토인코더가 수축 기준으로 훈련될 경우, 데이터 생성 분포의 스코어 함수(로그 밀도의 기울기)를 추정함을 보여주며, 분할 함수에 의존하지 않고 국소 다양체 구조를 효과적으로 포착한다. 이 방법은 오토인코더 학습을 스코어 추정으로 일반화된, 매개변수화에 의존하지 않는 해석으로 제공하여 효율적인 밀도 모델링과 MCMC 샘플링을 가능하게 한다.

ABSTRACT

What do auto-encoders learn about the underlying data generating distribution? Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of data. This paper clarifies some of these previous observations by showing that minimizing a particular form of regularized reconstruction error yields a reconstruction function that locally characterizes the shape of the data generating density. We show that the auto-encoder captures the score (derivative of the log-density with respect to the input). It contradicts previous interpretations of reconstruction error as an energy function. Unlike previous results, the theorems provided here are completely generic and do not depend on the parametrization of the auto-encoder: they show what the auto-encoder would tend to if given enough capacity and examples. These results are for a contractive training criterion we show to be similar to the denoising auto-encoder training criterion with small corruption noise, but with contraction applied on the whole reconstruction function rather than just encoder. Similarly to score matching, one can consider the proposed training criterion as a convenient alternative to maximum likelihood because it does not involve a partition function. Finally, we show how an approximate Metropolis-Hastings MCMC can be setup to recover samples from the estimated distribution, and this is confirmed in sampling experiments.

연구 동기 및 목표

• 오토인코더가 기본 데이터 분포에 대해 무엇을 학습하는지, 특히 국소 기하학적 구조 측면에서 명확히 하기.
• 수축 기준으로 훈련할 경우, 네트워크 아키텍처나 매개변수화에 관계없이 스코어 추정이 이루어짐을 보여주기.
• 에너지 기반 모델에 대한 이전 해석과 대조적으로, 오토인코더 행동에 대한 일반적이고 용량 및 데이터 제한이 있는 이론적 기반 제공하기.
• 오토인코더 훈련과 스코어 매칭 사이의 연결 고리를 설정하여 최대우도 추정의 분할 함수가 없는 대안 제공하기.
• 실험적으로 검증된 근사 메트로폴리스-하스팅스 MCMC를 사용해 추정된 밀도에서 샘플링을 가능하게 하기.

제안 방법

• 논문은 인코더뿐 아니라 복원 함수 전체에 정규화를 적용하는 수축 기준을 도입하여, 국소 데이터 밀도 변화에 민감함을 보장한다.
• 이론적으로, 점차적으로 스코어 매칭 목표를 근사하는 정규화된 복원 오차를 최소화함으로써 오토인코더 훈련과 밀도 추정을 연결한다.
• 이론적 분석을 통해 충분한 용량과 데이터가 있을 경우 오토인코더의 복원 함수가 데이터 생성 밀도의 스코어로 수렴함을 보여준다.
• 이 방법은 분할 함수의 명시적 계산을 피함으로써, 복잡한 분포에 대해 최대우도보다 계산적으로 유리하다.
• 학습된 복원 함수를 사용해 근사 메트로폴리스-하스팅스 MCMC 알고리즘을 구성하여 추정된 분포에서 샘플을 생성한다.
• 훈련 기준이 작은 오염 노이즈를 가진 디노이징 오토인코더와 유사하지만, 복원 함수 전체에 대해 국소 수축이 적용된다는 점에서 다름을 보여준다.

실험 결과

연구 질문

• RQ1 정규화된 오토인코더는 기본 데이터 생성 분포에 대해 무엇을 학습하는가?
• RQ2 수축 기준은 스코어 매칭과 최대우도 추정과 어떻게 관련이 있는가?
• RQ3 오토인코더의 복원 함수가 매개변수화에 관계없이 데이터 밀도의 스코어를 추정하는 것으로 해석될 수 있는가?
• RQ4 제안된 방법은 분할 함수를 계산하지 않고도 추정된 분포에서 효과적인 샘플링을 가능하게 하는가?
• RQ5 제안된 기준은 국소 데이터 구조 학습 측면에서 디노이징 오토인코더 훈련과 어떻게 비교되는가?

주요 결과

• 오토인코더의 복원 함수는 점차적으로 데이터 생성 밀도의 스코어를 추정하며, 데이터 분포의 국소적 특성화를 제공한다.
• 훈련 기준은 한계에서 스코어 매칭과 동일하며, 최대우도의 분할 함수가 없는 대안을 제공한다.
• 결과는 오토인코더의 특정 매개변수화에 의존하지 않으며, 충분한 용량과 데이터 하에서 성립한다.
• 실험적 검증을 통해 근사 메트로폴리스-하스팅스 MCMC를 통해 효과적인 샘플링이 가능함을 확인했다.
• 수축 기준은 작은 노이즈를 가진 디노이징 오토인코더와 유사하지만, 복원 함수 전체에 대해 전역 수축이 적용된다는 점에서 다름을 보였다.