[논문 리뷰] What Regularized Auto-Encoders Learn from the Data Generating Distribution

Guillaume Alain, Yoshua Bengio|arXiv (Cornell University)|2012. 11. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 101

한 줄 요약

이 논문은 정규화된 오토인코더, 특히 노이즈 제거 및 수축형 변형을 통해 재구성 오차를 정규화함으로써 데이터 생성 분포의 스코어 함수(로그 밀도의 도함수)를 학습함을 보여준다. 주요 기여는 명시적인 에너지 함수가 필요 없이 국소 밀도 구조—특히 스코어와 헤시안—을 암묵적으로 추정하는 훈련 기준이 국소 밀도 성질을 추정할 수 있음을 입증한 것이다. 이는 추정된 분포로부터 근사적인 MCMC 샘플링을 가능하게 한다.

ABSTRACT

What do auto-encoders learn about the underlying data generating distribution? Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of data. This paper clarifies some of these previous observations by showing that minimizing a particular form of regularized reconstruction error yields a reconstruction function that locally characterizes the shape of the data generating density. We show that the auto-encoder captures the score (derivative of the log-density with respect to the input). It contradicts previous interpretations of reconstruction error as an energy function. Unlike previous results, the theorems provided here are completely generic and do not depend on the parametrization of the auto-encoder: they show what the auto-encoder would tend to if given enough capacity and examples. These results are for a contractive training criterion we show to be similar to the denoising auto-encoder training criterion with small corruption noise, but with contraction applied on the whole reconstruction function rather than just encoder. Similarly to score matching, one can consider the proposed training criterion as a convenient alternative to maximum likelihood because it does not involve a partition function. Finally, we show how an approximate Metropolis-Hastings MCMC can be setup to recover samples from the estimated distribution, and this is confirmed in sampling experiments.

연구 동기 및 목표

• 정규화된 오토인코더가 기저 데이터 생성 분포에 대해 무엇을 학습하는지 명확히 하기.
• 수축형 및 노이즈 제거 오토인코더의 훈련 기준과 국소 밀도 성질(예: 스코어 및 헤시안) 추정 간 이론적 연결을 수립하기.
• 정규화된 재구성 오차 최소화가 분할 함수 계산이 필요 없이 최대우도 기반의 비모수적 학습에 대한 대안이 될 수 있음을 보여주기.
• 추정된 스코어를 사용하여 학습된 모델에서 근사적인 메트로폴리스-하스팅스 MCMC를 구성할 수 있음을 보여주기.

제안 방법

• 논문은 전체 재구성 함수에 정규화를 적용하는 수축형 훈련 기준을 분석하며, 이는 작은 가우시안 노이즈를 갖는 노이즈 제거 오토인코더 훈련과 동치임을 보여준다.
• 이 기준을 최소화할 경우 재구성 함수가 데이터 생성 밀도의 스코어(로그 밀도의 도함수)와 헤시안을 추정함을 증명한다.
• 충분한 표현 능력과 데이터가 확보된 조건 하에서 渐近적 분석에 기반하여, 오토인코더의 매개변수화 방식과 관계없이 진짜 스코어 함수로 수렴함을 보여준다.
• 에너지 차이를 예측된 스코어를 사용해 추정하는 근사적인 메트로폴리스-하스팅스 MCMC 알고리즘을 제안하며, 이는 학습된 분포에서 샘플링을 가능하게 한다.
• 이 방법은 스코어 매칭과 유사하게 명시적인 분할 함수 계산을 피하며, 해석적 에너지 함수가 존재하지 않을 경우에도 적용 가능하다.
• 인위적 데이터셋에서의 실험을 통해 MCMC를 통해 생성된 샘플이 2차원 투영에서 훈련 데이터 분포와 유사함을 보여주며 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 정규화된 오토인코더는 데이터 생성 분포의 어떤 특정 측면을 학습하는가?
• RQ2 정규화된 재구성 오차 최소화가 로그 밀도의 스코어와 헤시안 추정과 어떻게 관련되어 있는가?
• RQ3 오토인코더의 재구성 함수를 에너지 함수가 아닌 국소 평균과 밀도 기울기 추정으로 해석할 수 있는가?
• RQ4 추정된 스코어를 사용하여 학습된 모델에서 근사적인 MCMC 샘플링을 수행할 수 있는가?
• RQ5 이 방법은 최대우도 및 스코어 매칭과 비교해 훈련 효율성과 분포 추정 측면에서 어떻게 다른가?

주요 결과

• 정규화된 재구성 오차 최소화는 데이터 생성 분포의 스코어(로그 밀도의 일阶 도함수)를 추정하는 재구성 함수를 도출한다.
• 이 방법은 밀도의 국소 곡률을 캐릭터라이즈하는 헤시안(로그 밀도의 이阶 도함수)도 추정한다.
• 이 훈련 기준은 작은 가우시안 노이즈를 갖는 노이즈 제거 오토인코더 훈련과 동치이지만, 전체 재구성 함수에 수축을 적용한다는 점에서 다르다.
• 추정된 스코어를 통해 근사적인 메트로폴리스-하스팅스 MCMC 샘플링이 가능하며, 실험적으로 진짜 데이터 분포에 가까운 샘플을 성공적으로 복원한다.
• 충분한 표현 능력과 훈련 데이터가 확보된 조건 하에서는 오토인코더의 매개변수화 방식과 관계없이 결과가 일반화됨을 보여준다.
• 이 방법은 분할 함수 계산이 필요 없어, 암묵적 밀도 추정을 위한 최대우도 기반 방법의 타당한 대안이 된다.