[논문 리뷰] Deep Energy Estimator Networks

Saeed Saremi, Arash Mehrjou외 2명|arXiv (Cornell University)|2018. 05. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 46

한 줄 요약

DEEN은 확장 가능한 심층 에너지 모델을 사용한 스코어 매칭으로 데이터의 에너지(정규화되지 않은 로그-밀도)를 학습하고, MCMC 및 Hessian 계산을 피합니다. 이는 고차원 데이터에서 에너지 추정, 스코어 추정 및 단일단계 디노이징을 가능하게 합니다.

ABSTRACT

Density estimation is a fundamental problem in statistical learning. This problem is especially challenging for complex high-dimensional data due to the curse of dimensionality. A promising solution to this problem is given here in an inference-free hierarchical framework that is built on score matching. We revisit the Bayesian interpretation of the score function and the Parzen score matching, and construct a multilayer perceptron with a scalable objective for learning the energy (i.e. the unnormalized log-density), which is then optimized with stochastic gradient descent. In addition, the resulting deep energy estimator network (DEEN) is designed as products of experts. We present the utility of DEEN in learning the energy, the score function, and in single-step denoising experiments for synthetic and high-dimensional data. We also diagnose stability problems in the direct estimation of the score function that had been observed for denoising autoencoders.

연구 동기 및 목표

• 딥 계층적 에너지 기반 접근법을 사용하여 고차원 데이터에 대한 보편적 밀도 추정을 동기 부여한다.
• 에너지 함수를 학습하기 위해 스코어 매칭에 기반한 확장 가능하고 추론이 필요 없는 objective를 도입한다.
• MCMC 없이 에너지를 추정하기 위해 전문가들의 곱으로 구현된 DEEN(Deep Energy Estimator Network)를 제안한다.
• 에너지 추정, 스코어 함수, 단일 단계 디노이징 간의 연결성을 탐구한다.
• 직접 스코어 추정의 안정성 문제를 진단하고 견고한 에너지 기반 학습을 보여준다.

제안 방법

• 에너지 E(x;θ)를 신경망으로 정의하여 p(x;θ) ∝ exp(-E(x;θ))를 모델링한다.
• 파티션 함수 Z(θ)의 계산을 피하기 위해 스코어 매칭을 사용한다.
• 확장 가능하고 SGD 친화적인 목표를 만들기 위해 Parzen 스코어 매칭을 채택하여 신경망을 통해 에너지를 추정한다.
• 에너지의 스코어 ψ(x;θ) = -∇_x E(x;θ)를 계산하도록 E를 MLP로 매개화한다.
• 은닉 유닛의 분산된 에너지 기여를 가능하게 하는 전문가들의 곱으로 DEEN을 구성한다.
• Parzen 윈도우로 스무딩된 데이터 샘플을 사용한 확률적 경사 하강법으로 DEEN 목표 L_DEEN(θ)을 최적화한다.

실험 결과

연구 질문

• RQ1 확장 가능하고 추론이 필요 없는 목적 함수가 복잡한 데이터 분포에 대해 정확한 에너지 함수를 학습할 수 있는가?
• RQ2 Parzen 스코어 매칭이 해시안 계산 없이도 효율적인 에너지 및 스코어 추정을 가능하게 하는가?
• RQ3 직접 스코어 추정 방법에서 관찰되는 불안정성에 대해 DEEN(깊은 에너지 추정기 네트워크)은 견고한가?
• RQ4 DEEN이 고차원 데이터의 단일 단계 디노이징 및 에너지 지형 진단을 지원하는가?
• RQ5 밀도 추정을 위한 전문가들의 곱(Product of Experts) 형태의 에너지 구성의 이점과 한계는 무엇인가?

주요 결과

• DEEN은 합성 2D 데이터 및 MNIST, 자연 이미지 패치와 같은 실제 데이터 세트에 대해 에너지 지형을 정확하게 학습한다.
• Parzen 스코어 매칭 목적은 해시안 계산을 피하고 SGD로 확장된다.
• 직접 스코어 추정은 일반 MLP를 사용할 때 불안정성(비제로 curl)을 보이나, 에너지가 스코어를 도출하므로 DEEN은 안정적이다.
• 학습된 에너지를 적용해 디노이징 단계를 계산함으로써 단일 단계 디노이징을 가능하게 하며, 실험에서 간단한 기준선보다 우수하다.
• 대조적 발산(Contrastive-divergence) 스타일 업데이트는 에너지 학습에서 실패할 수 있어 모드 붕괴를 일으키는 반면, DEEN은 안정성을 보인다.
• 실험은 MNIST 및 van Hateren 자연 이미지에서 디노이징 및 에너지 추정을 시연하며, σ에 대한 적절한 하이퍼파라미터 선택이 필요함.