[논문 리뷰] How to Train Your Energy-Based Models

Yang Song, Diederik P. Kingma|arXiv (Cornell University)|2021. 01. 09.

Energy Load and Power Forecasting참고 문헌 82인용 수 81

한 줄 요약

본 논문은 세 가지 주요 접근법을 사용하여 에너지 기반 모델(EBM)을 학습하는 친절한 튜토리얼을 제공합니다: MCMC로 최대우도 추정, 점수 매칭(DSM 및 SSM 변형 포함), 잡음 대비 추정, 그리고 이들 간의 연결 고리.

ABSTRACT

Energy-Based Models (EBMs), also known as non-normalized probabilistic models, specify probability density or mass functions up to an unknown normalizing constant. Unlike most other probabilistic models, EBMs do not place a restriction on the tractability of the normalizing constant, thus are more flexible to parameterize and can model a more expressive family of probability distributions. However, the unknown normalizing constant of EBMs makes training particularly difficult. Our goal is to provide a friendly introduction to modern approaches for EBM training. We start by explaining maximum likelihood training with Markov chain Monte Carlo (MCMC), and proceed to elaborate on MCMC-free approaches, including Score Matching (SM) and Noise Constrastive Estimation (NCE). We highlight theoretical connections among these three approaches, and end with a brief survey on alternative training methods, which are still under active research. Our tutorial is targeted at an audience with basic understanding of generative models who want to apply EBMs or start a research project in this direction.

연구 동기 및 목표

• EBMs가 유연하지만 알려지지 않은 정규화 상수 Z_theta 때문에 학습이 어려운 이유를 설명한다.
• EBMs를 위한 세 가지 주요 학습 패러다임: MCMC를 이용한 최대우도, 점수 매칭, 잡음 대비 추정을 제시한다.
• 이 접근법들 간의 이론적 연관성을 설명하고 다른 활발한 연구 방향을 개요한다.

제안 방법

• EBMs에 대한 MLE 기울도와 p_theta(x)로부터 샘플링하여 편향되지 않은 몬테카를로 추정치를 얻는 방법을 도출한다.
• 샘플링을 위한 Langevin MCMC 및 CD, 영속적 CD와 같은 실용적 기법을 포함한 그 변형들을 소개한다.
• 점수 매칭과 그 피셔 발산 형식을 제시하고, 비 이상적인 데이터 지원을 다루기 위한 DSM 및 SSM 변형을 포함한다.
• 잡음 제거(denoising)와 슬라이스드 점수 매칭이 계산 불가능한 두 번째 미분을 우회하고 확장성을 개선하는 방법을 보여준다.
• 이미 알려진 노이즈 분포와 대조함으로써 EBM을 잡음 대비 추정으로 설명하고 Z_theta를 학습 가능한 스칼라로 설명한다.

실험 결과

연구 질문

• RQ1 정규화 상수 Z_theta가 계산 불가능할 때 EBMs를 효과적으로 학습하려면 어떻게 해야 하는가?
• RQ2 MLE with MCMC, Score Matching, and Noise Contrastive Estimation이 EBM 학습에서 서로 어떻게 관련되고 보완하는가?
• RQ3 실용적 기법들(예: CD, Langevin dynamics, DSM, SSM, NCE)이 확장 가능한 EBM 학습을 가능하게 하는가?
• RQ4 스코어 기반 생성 모델링 접근법이 스코어 네트워크와 다중 스케일 노이즈를 활용하여 고품질 샘플링을 달성하는 방식은?

주요 결과

• MCMC를 이용한 MLE은 p_theta(x)로부터의 샘플을 사용한 편향되지 않은 기울도 추정을 통해 우도 기반 학습을 가능하게 한다.
• Langevin MCMC 및 관련 방법은 EBM에 대한 실용적 샘플링을 제공하고 바이어스 가능성 고려와 함께 CD와 연결된다.
• 점수 매칭 및 그 변형(DSM, SSM)은 명시적 Z_theta를 피하는 대안 학습 목표를 제공하며 일관성과 계산 비용 사이의 트레이드오프가 있다.
• SSM은 2차 도함수 항의 선형 비용으로 DSM에 대한 일관된 대안을 제공하여 고차원 데이터의 확장 가능한 학습을 가능하게 한다.
• 스코어 기반 생성 모델링은 잡음 조건화를 사용하여 다중 규모에 걸친 점수를 함께 모델링하고 이미지와 오디오의 샘플 품질을 향상시킨다.
• NCE는 알려진 잡음 분포에 대한 대조 학습으로 또 다른 경로를 제공하고 Z_theta를 학습 가능한 스칼라로 취급한다.