[논문 리뷰] Generalized Energy Based Models

Michael Arbel, Zhou Liang외 1명|arXiv (Cornell University)|2020. 03. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 87인용 수 4

한 줄 요약

이 논문은 일반화된 에너지 기반 모델(GEBMs)을 소개한다. GEBMs는 은닉 기반 분포(예: 생성기)와 학습 가능한 에너지 함수를 조합하여 데이터 지지 다양체 위에서 확률 밀도를 정밀하게 보정한다. KALE(KL 근사 하한 추정)로 불리는 일반화된 우도 손실을 통해 에너지 함수를 훈련하고 기반 모델을 번갈아가며 최적화함으로써, 동일한 복잡도의 GAN보다 더 높은 품질의 샘플을 생성한다. 특히 데이터가 저차원 다양체 위에 존재할 경우 이점이 두드러진다.

ABSTRACT

We introduce the Generalized Energy Based Model (GEBM) for generative modelling. These models combine two trained components: a base distribution (generally an implicit model), which can learn the support of data with low intrinsic dimension in a high dimensional space; and an energy function, to refine the probability mass on the learned support. Both the energy function and base jointly constitute the final model, unlike GANs, which retain only the base distribution (the "generator"). GEBMs are trained by alternating between learning the energy and the base. We show that both training stages are well-defined: the energy is learned by maximising a generalized likelihood, and the resulting energy-based loss provides informative gradients for learning the base. Samples from the posterior on the latent space of the trained model can be obtained via MCMC, thus finding regions in this space that produce better quality samples. Empirically, the GEBM samples on image-generation tasks are of much better quality than those from the learned generator alone, indicating that all else being equal, the GEBM will outperform a GAN of the same complexity. When using normalizing flows as base measures, GEBMs succeed on density modelling tasks, returning comparable performance to direct maximum likelihood of the same networks.

연구 동기 및 목표

• GAN이 데이터 지지 다각체 위에서 확률 밀도를 정밀하게 보정하는 데에 한계가 있음에도 불구하고, 지지 다각체를 학습하는 데에 한계가 있음.
• 에너지 기반 모델에서 정규화 상수의 비가역성 문제를 해결하기 위해, 계산 가능하고 약간의 근사 우도 추정 방법을 도입함.
• 기반 생성기의 잠재 공간에 대한 사후 추론에 에너지 함수를 통합함으로써 더 나은 샘플링 품질을 달성함.
• GAN이 더 복잡한 생성기를 사용하더라도 GEBMs가 표준 GAN보다 우수한 성능을 보임을 입증함. 특히 저차원 데이터 환경에서 성능 향상이 두드러진다.

제안 방법

• 기반 분포(은닉, 예: 생성기)가 데이터 지지 다각체를 학습하고, 에너지 함수가 이 지지 다각체 위에서 확률 밀도를 정밀하게 보정하는 이원 모델을 제안함.
• Donsker-Varadhan 및 Fenchel 쌍대성에서 유도된 KALE(KL 근사 하한 추정) 손실을 사용해 에너지 함수를 최적화함.
• KALE 손실을 기반 생성기의 훈련 신호로 사용하여, 잘 정의된 기울기와 약한 수렴 보장을 확보함.
• 교대로 최적화 수행: 고정된 횟수 동안 에너지 함수를 업데이트한 후, 현재 에너지 함수를 기반으로 기반 생성기를 업데이트함.
• 기반 생성기의 잠재 공간에서 MCMC를 수행하여 GEBM에서 샘플링을 수행함. 이때 학습된 에너지 함수가 사후 분포를 고품질 샘플 쪽으로 이끌도록 유도함.
• Eberle 등(2017) 기반의 기울기 기반 MCMC 샘플러를 활용해 잠재 공간에서의 수렴 속도를 빠르게 함.

실험 결과

연구 질문

• RQ1 은닉 기반 모델과 학습 가능한 에너지 함수를 조합한 모델이 동일한 모델 복잡도에서도 표준 GAN보다 샘플 품질을 높일 수 있는가?
• RQ2 KALE 손실이 공동 훈련 시스템에서 에너지 및 기반 구성 요소 양쪽에 대해 안정적이고 유의미한 훈련 신호를 제공하는가?
• RQ3 에너지 함수가 기반 생성기의 잠재 공간에 대한 사후 분포를 어떻게 이끌어내어 샘플링 품질을 향상시키는가?
• RQ4 기반 생성기의 모델 복잡도가 GAN과 GEBM 간의 성능 격차에 어느 정도 영향을 미치는가?
• RQ5 기반 모델로 정규화 흐름을 사용할 경우, GEBMs가 직접 최대우도 추정 훈련과 경쟁 가능한 밀도 추정 성능을 달성할 수 있는가?

주요 결과

• GEBMs는 동일한 복잡도의 GAN조차도 더 높은 품질의 샘플을 일관되게 생성한다. 특히 GAN의 생성기가 더 복잡한 경우에도 마찬가지다.
• GAN의 생성기가 더 표현력이 뛰어나질수록 GAN과 GEBM 간의 성능 격차가 줄어들며, 이는 에너지 함수가 잔여 분포 차이를 효과적으로 포착하고 있음을 시사한다.
• 더 단순한 기반 생성기를 사용한 GEBMs가 더 복잡한 생성기를 사용한 GAN보다 뛰어난 성능을 보이며, 이는 에너지 함수가 더 효과적인 보정 메커니즘이라는 것을 시사한다.
• 정규화 흐름을 기반 모델로 사용할 경우, GEBMs는 동일한 네트워크에서 직접 최대우도 추정 훈련과 비교해 유사한 밀도 추정 성능을 달성한다.
• KALE 손실은 기반 생성기의 잘 정의된 기울기를 제공하며, 적절한 조건 하에서 약한 수렴 보장을 보장한다.
• 학습된 에너지 함수에 의해 유도된 잠재 공간 내 MCMC 샘플링은 고품질 샘플을 생성하는 영역을 성공적으로 식별하며, 이는 생성 품질 향상에 기여한다.