[논문 리뷰] No MCMC for me: Amortized sampling for fast and stable training of energy-based models

Will Grathwohl, Jacob Kelly외 4명|arXiv (Cornell University)|2020. 10. 08.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 7

한 줄 요약

이 논문은 에너지 기반 모델(EBM) 학습에서 느리고 불안정한 MCMC 샘플링을 대체하기 위해 변동형 엔트로피 정규화를 통한 근사 최대우도(VERA)를 소개한다. 이 방법은 엔트로피 정규화를 통해 훈련된 빠르고 미분 가능한 생성 네트워크를 도입하여, MCMC 샘플링을 암시적(амortized)으로 처리하고 변동형 근사를 통해 엔트로피 정규화를 구현함으로써 EBMs의 훈련 속도를 높이고 안정성을 향상시킨다. 이로 인해 최신 기준의 우수한 우도 성능을 달성하며, 표본 데이터에 대한 효과적인 준지도 학습도 가능해진다.

ABSTRACT

Energy-Based Models (EBMs) present a flexible and appealing way to represent uncertainty. Despite recent advances, training EBMs on high-dimensional data remains a challenging problem as the state-of-the-art approaches are costly, unstable, and require considerable tuning and domain expertise to apply successfully. In this work, we present a simple method for training EBMs at scale which uses an entropy-regularized generator to amortize the MCMC sampling typically used in EBM training. We improve upon prior MCMC-based entropy regularization methods with a fast variational approximation. We demonstrate the effectiveness of our approach by using it to train tractable likelihood models. Next, we apply our estimator to the recently proposed Joint Energy Model (JEM), where we match the original performance with faster and stable training. This allows us to extend JEM models to semi-supervised classification on tabular data from a variety of continuous domains.

연구 동기 및 목표

• 고차원 데이터에서 에너지 기반 모델(EBM)의 훈련에 있어 MCMC 기반 접근법의 불안정성과 높은 계산 비용 문제를 해결하기 위해.
• 기존 EBM 훈련 방법의 한계를 피하면서도 확장성 있고 안정적이며 효율적인 대안을 개발하기 위해, 스코어 매칭, 노이즈 대비 추정, MCMC 샘플링의 제약을 피하는 것을 목표로 한다.
• 보조 모델이 필요하거나 아키텍처 선택에 제약이 없이도 EBMs의 고우도 훈련을 가능하게 하기 위해.
• 특히 표본 데이터에서의 준지도 학습에 적합한 연관 에너지 모델(JEM)의 훈련을 안정화하고 가속화하기 위해.
• 엔트로피 정규화된 생성 모델이 높은 품질의 우도 추정과 일반화 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• EBM의 최대우도 훈련을 양단 변동 최적화 문제로 재해석하여 MCMC 샘플링의 암시적 처리를 가능하게 한다.
• 모델 분포에서 샘플을 생성하는 생성 네트워크를 도입하여 반복적인 MCMC 단계를 단일 전방 전파로 대체한다.
• 빠른 변동 근사를 사용해 생성 네트워크에 엔트로피 정규화를 적용함으로써 안정성과 수렴 성능를 향상시킨다.
• 에너지 모델 손실과 엔트로피 정규화를 조합한 미분 가능한 목적함수를 사용하여 backpropagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 생성 네트워크에서 생성된 샘플을 사용해 우도 목적함수를 근사하는 확률적 경량 추정기를 활용하여 직접적인 MCMC 샘플링을 피한다.
• 생성 네트워크를 진정한 모델 분포에 대한 변동 근사로 간주하며, 엔트로피 정규화를 통해 다양성과 커버리지 보장을 확보한다.

실험 결과

연구 질문

• RQ1 MCMC 샘플링을 대체할 수 있는 학습 가능한, 미분 가능한 생성 네트워크를 도입함으로써 훈련 속도와 안정성을 향상시킬 수 있는가?
• RQ2 변동 근사를 통한 엔트로피 정규화는 전통적인 MCMC 기반 방법보다 더 나은 우도 추정을 이끌 수 있는가?
• RQ3 VERA는 이전 방법이 실패하는 고차원 표본 데이터에서 JEM을 활용한 효과적인 준지도 학습을 가능하게 할 수 있는가?
• RQ4 이미지 및 표본 데이터 벤치마크에서 최신 기준의 EBM 및 GAN 기반 모델과 비교해 VERA는 우도 및 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 VERA의 생성 네트워크 기반 샘플링은 정확한 우도 추정을 유지하면서도 높은 품질의 샘플을 생성할 수 있는가?

주요 결과

• 최적 설정 하에서 혼합 정규분포에서 VERA는 MCMC 기반 훈련(PCT)보다 유의미하게 높은 우도를 달성하며, 월즈 데이터셋에서 -2.58 대비 -3.82를 기록한다.
• MNIST에서 α=1일 때 VERA는 Fréchet Inception Distance(FID) 27.5를 기록하여 SNGAN(25.50)과 NCSN(23.52)을 모두 앞서며, 기준 JEM보다도 FID에서 뛰어난 성능을 보였다.
• HEPMASS, CROP, HUMAN 등의 표본 데이터에서 준지도 학습 시, 도메인 지식이 적은 조건에서 VERA로 훈련된 JEM 모델이 가상의 대비 훈련(VAT)을 능가했다.
• 이전 MCMC 기반 접근법이 불안정성으로 인해 실패했던 표본 데이터에서 JEM의 안정적 훈련을 가능하게 하여, 성공적인 준지도 분류를 실현했다.
• CIFAR-10과 CIFAR-100에서 각각 FID 점수 30.5와 32.4를 기록하여 무조건적 및 조건부 생성 모두에서 최신 기준 성능을 달성했다.
• 제거 실험 결과, 엔트로피 정규화(λ)와 생성 네트워크의 다양성(α)이 성능에 결정적인 영향을 미치며, α=100일 때 FID 및 IS 점수에서 최고 성능을 기록했다.