[論文レビュー] How to Train Your Energy-Based Models

Yang Song, Diederik P. Kingma|arXiv (Cornell University)|Jan 9, 2021

Energy Load and Power Forecasting参考文献 82被引用数 81

ひとこと要約

本論文は、エネルギーベースモデル（EBM）の学習について、主に3つのアプローチ（MCMCを用いた最大似合、Score Matching（DSMおよびSSM変種を含む）、Noise Contrastive Estimation）と、それらの間のつながりを解説する親しみやすいチュートリアルを提供する。

ABSTRACT

Energy-Based Models (EBMs), also known as non-normalized probabilistic models, specify probability density or mass functions up to an unknown normalizing constant. Unlike most other probabilistic models, EBMs do not place a restriction on the tractability of the normalizing constant, thus are more flexible to parameterize and can model a more expressive family of probability distributions. However, the unknown normalizing constant of EBMs makes training particularly difficult. Our goal is to provide a friendly introduction to modern approaches for EBM training. We start by explaining maximum likelihood training with Markov chain Monte Carlo (MCMC), and proceed to elaborate on MCMC-free approaches, including Score Matching (SM) and Noise Constrastive Estimation (NCE). We highlight theoretical connections among these three approaches, and end with a brief survey on alternative training methods, which are still under active research. Our tutorial is targeted at an audience with basic understanding of generative models who want to apply EBMs or start a research project in this direction.

研究の動機と目的

• EBMが柔軟である一方、正規化定数 Z_theta が未知なため学習が難しい理由を説明する。
• EBMの3つの主要な学習パラダイムを提示する：MCMCを用いた最大尤度、Score Matching、Noise Contrastive Estimation。
• これらのアプローチ間の理論的つながりを説明し、他の活発な研究方向を概説する。

提案手法

• EBMのMLE勾配を導出し、p_theta(x)からのサンプリングを通じて無偏モンテカルロ推定を得る方法を示す。
• サンプリングのためのLangevin MCMCとその変種を紹介し、CDや持続的CDなどの実践的技術を含む。
• Score MatchingとFisher発散の定式化を示し、非理想的なデータサポートに対処するDSMおよびSSM変種を含む。
• デノイジングとスライスドスコアマッチングが、扱いにくい二階微分を回避し、スケーラビリティを向上させる方法を示す。
• EBMを既知のノイズ分布と対比してNoise Contrastive Estimationを説明し、Z_thetaを学習可能なスカラーとして説明する。

実験結果

リサーチクエスチョン

• RQ1 正規化定数 Z_theta が難解である場合、EBMを効果的に学習するにはどうすればよいか？
• RQ2 MLE with MCMC、Score Matching、Noise Contrastive Estimationは、EBM学習においてどのように関連し、補完し合うか？
• RQ3 実用的な技術（例：CD、Langevinダイナミクス、DSM、SSM、NCE）は、スケーラブルなEBM学習をどのように実現するか？
• RQ4 スコアベースの生成モデルアプローチは、スコアネットワークとマルチスケールノイズをどのように活用して高品質なサンプリングを実現するか？

主な発見

• MLE with MCMCは、p_theta(x)からのサンプルを用いた無偏勾配推定により尤度ベースの学習を実現する。
• Langevin MCMCおよび関連手法はEBMの実用的なサンプリングを提供し、偏りの可能性を考慮したCDと結びつく。
• Score Matchingとその変種（DSM、SSM）は、明示的なZ_thetaを回避する代替の学習目的を提供し、一貫性と計算コストのトレードオフがある。
• SSMは、二階微分項を線形コストで扱うことで DSM の一貫性のある代替を提供し、高次元データのスケーラブルな学習を可能にする。
• スコアベースの生成モデリングは、ノイズ条件付けを用いてマルチスケールのスコアを共同でモデル化し、画像や音声のサンプル品質を向上させる。
• NCEは、既知のノイズ分布に対して対比学習を行う別の経路を提供し、Z_thetaを学習可能なスカラーとして扱う。