[논문 리뷰] Learning Energy-Based Models by Diffusion Recovery Likelihood

Ruiqi Gao, Yang Song외 3명|arXiv (Cornell University)|2020. 12. 15.

Advanced Neuroimaging Techniques and Applications참고 문헌 52인용 수 15

한 줄 요약

이 논문은 조건부 우도 최대화를 통해 점점 더 노이즈가 많은 데이터 버전에서 순차적으로 에너지 기반 모델(EBM)을 학습함으로써 에너지 기반 모델(EBM)을 훈련하기 위한 확산 복구 우도를 제안한다. 표준 최대우도법(MLE)과 달리, 간접적인 조건부 샘플링을 통해 효율적인 훈련과 샘플링을 가능하게 하여 CIFAR-10에서 최고 수준의 FID 9.58과 인ception 스코어 8.30를 달성한다. 이는 안정적인 장기 MCMC 체인을 유지하며 현실적인 샘플을 생성함으로써 정확한 밀도 추정이 가능하게 한다.

ABSTRACT

While energy-based models (EBMs) exhibit a number of desirable properties, training and sampling on high-dimensional datasets remains challenging. Inspired by recent progress on diffusion probabilistic models, we present a diffusion recovery likelihood method to tractably learn and sample from a sequence of EBMs trained on increasingly noisy versions of a dataset. Each EBM is trained with recovery likelihood, which maximizes the conditional probability of the data at a certain noise level given their noisy versions at a higher noise level. Optimizing recovery likelihood is more tractable than marginal likelihood, as sampling from the conditional distributions is much easier than sampling from the marginal distributions. After training, synthesized images can be generated by the sampling process that initializes from Gaussian white noise distribution and progressively samples the conditional distributions at decreasingly lower noise levels. Our method generates high fidelity samples on various image datasets. On unconditional CIFAR-10 our method achieves FID 9.58 and inception score 8.30, superior to the majority of GANs. Moreover, we demonstrate that unlike previous work on EBMs, our long-run MCMC samples from the conditional distributions do not diverge and still represent realistic images, allowing us to accurately estimate the normalized density of data even for high-dimensional datasets. Our implementation is available at https://github.com/ruiqigao/recovery_likelihood.

연구 동기 및 목표

• 고차원 데이터에서 에너지 기반 모델(EBM)을 훈련하는 데 있어 표준 최대우도법(MLE)이 모수 분포에서 비용이 많이 드는 MCMC 샘플링이 필요하다는 도전 과제를 해결하기 위해.
• 기존 EBM 방법에서 장기 MCMC 체인이 불안정하여 수렴하지 않거나 타당하지 않은 정적 분포를 유도해 현실적이지 않은 샘플을 생성하는 문제를 해결하기 위해.
• 학습된 EBM 하에서 정규화된 데이터 밀도를 정확하게 추정하기 위해 조건부 분포에서 유도된 장기 MCMC 체인을 활용하기 위해.
• 원시 데이터가 아닌 확산된 데이터 수준의 순차적 복구 우도를 통한 EBM 학습을 통해 샘플 품질 향상과 훈련 효율성을 높이기 위해.
• 확산 복구 우도로 훈련된 EBM에서 충실한 장기 MCMC 샘플링이 가능함을 입증하여 신뢰할 수 있는 밀도 평가를 가능하게 하기 위해.

제안 방법

• 데이터에 점점 더 많은 노이즈가 첨가되는 확산 과정을 통해 생성된 점점 더 노이즈가 많은 데이터 버전에서 순차적인 에너지 기반 모델(EBM)을 훈련한다.
• 각 EBM은 청소된 데이터가 더 높은 노이즈 수준에서의 노이즈 버전을 조건으로 하여 조건부 확률을 최대화하는 복구 우도를 사용하여 훈련되며, 이는 모수 우도에 비해 샘플링이 더 간편하다.
• 생성용 샘플링은 가우시안 화이트 노이즈에서 시작하여 점점 감소하는 노이즈 수준에서 반복적으로 조건부 샘플링을 수행함으로써 확산 과정을 효과적으로 역행한다.
• 장기 MCMC 체인을 확보하기 위해 조건부 분포에서 샘플링을 수행하기 위해 적응형 스텝 크기를 갖는 해밀토니안 몬테카를로(HMC)를 사용하며, 이는 높은 수용률과 현실적인 샘플을 보장한다.
• 청소된 데이터 분포의 로그 분할 함수를 추정하기 위해 안내 중요도 샘플링(AIS)을 사용하여 정규화된 밀도 추정을 가능하게 한다.
• Bengio 등(2013)의 복구 우도 목표를 확산 설정에 적응시켜 직접 모수 샘플링 없이도 효율적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산된 데이터에서의 복구 우도는 비용이 많이 드는 모수 MCMC 샘플링이 필요 없이 효율적이고 안정적인 EBM 훈련을 가능하게 할 수 있는가?
• RQ2 확산 기반 EBM의 조건부 분포에서 유도된 장기 MCMC 체인이 현실적인가? 이는 유효하고 안정적인 에너지 포텐셜을 의미하는가?
• RQ3 장기 MCMC와 중요도 샘플링을 사용하여 학습된 EBM 하에서 데이터의 정규화된 밀도를 정확하게 추정할 수 있는가?
• RQ4 명시적 에너지 함수의 기울기를 스코어 함수로 사용할 때, 확산 복구 우도의 성능은 노이즈 제거 스코어 매칭과 어떻게 비교되는가?
• RQ5 확산 시간 단계 수를 늘리면(예: 1000단계), 장기 MCMC 샘플링과 밀도 추정의 안정성과 품질이 향상되는가?

주요 결과

• 이 방법은 무조건적 CIFAR-10에서 FID 9.58과 인ception 스코어 8.30를 달성하여 대부분의 GAN 기반 방법과 기존의 명시적 EBM 학습 접근법을 능가한다.
• 100,000개의 샘플링 단계를 거친 후에도 조건부 분포에서 유도된 장기 MCMC 체인이 여전히 현실적인데, FID 24.89로 정규 근사에서 유도된 체인의 25.12에 가깝다.
• 청소된 데이터 분포의 추정 로그 분할 함수가 다수의 실행에서 안정적으로 수렴하여, 안내 중요도 샘플링을 통한 신뢰할 수 있는 밀도 추정이 가능함을 시사한다.
• 변수 변화와 AIS를 통해 정규화된 데이터 밀도를 정확하게 추정할 수 있으며, 표본 비트 매 차원 수치는 표 4에 기재되어 있으나, 이는 확률적 하한 추정치이다.
• 1,000개의 확산 시간 단계를 사용하더라도 장기 MCMC 체인이 충실하고 현실적인 상태를 유지하여, 학습된 에너지 포텐셜이 유효하고 잘 구성되어 있음을 보여준다.
• 명시적 에너지 함수의 기울기를 사용할 때, 간단한 노이즈 제거 스코어 매칭보다 이 방법이 우수함을 입증하여, 스코어 함수가 아닌 전체 EBM을 학습하는 데서의 이점이 뚜렷하다.