[論文レビュー] Annealed Denoising Score Matching: Learning Energy-Based Models in High-Dimensional Spaces

Zengyi Li, Yubei Chen+1 more|arXiv (Cornell University)|Sep 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 14

ひとこと要約

本稿では、複数のノイズスケールにわたるスコアマッチングを行うことでエネルギー関数を学習する、エネルギー関数モデルのための新規トレーニング手法である「アニールドノイズ除去スコアマッチング（ADSM）」を提案する。アニールドランジュヴィンダイナミクスとマルチスケールノイズ除去を組み合わせることで、初期化から高精細なサンプル生成が可能となり、高次元データセットにおいて最先端のサンプル品質を達成し、EBMベースの合成分野における新基準を確立した。

ABSTRACT

Energy-Based Models (EBMs) outputs unmormalized log-probability values given data samples. Such an estimation is essential in a variety of applications such as sample generation, denoising, sample restoration, outlier detection, Bayesian reasoning, and many more. However, standard maximum likelihood training is computationally expensive due to the requirement of sampling the model distribution. Score matching potentially alleviates this problem, and denoising score matching is a particularly convenient version. However, previous works do not produce models capable of high quality sample synthesis in high dimensional datasets from random initialization. We believe that is because the score is only matched over a single noise scale, which corresponds to a small set in high-dimensional space. To overcome this limitation, here we instead learn an energy function using denoising score matching over all noise scales. When sampled from random initialization using Annealed Langevin Dynamics and single-step denoising jump, our model produced high-quality samples comparable to state-of-the-art techniques such as GANs. The learned model also provide density information and set a new sample quality baseline in energy-based models. We further demonstrate that the proposed method generalizes well with an image inpainting task.

研究の動機と目的

• 従来のノイズ除去スコアマッチング手法が単一のノイズスケールでのみスコアマッチングを行うため、高次元空間でサンプル品質が劣ってしまうという限界を解消すること。
• エネルギー関数モデルを用いて、高次元データセットにおいてランダム初期化から高精細なサンプル合成を可能にすること。
• 画像補完などの下流タスクに一般化しやすいトレーニング手順の開発。
• スコアマッチングの利点と密度推定の利点を統合し、サンプル品質を向上させる手法の提供。

提案手法

• ノイズ除去スコアマッチングを複数のノイズスケールに拡張し、さまざまなノイズレベルにおける期待スコアマッチング損失の最小化によりエネルギー関数を学習する。
• サンプリングにはアニールドランジュヴィンダイナミクスを採用し、段階的にノイズレベルを低下させることで収束性とサンプル品質を向上させる。
• 収束を加速し、サンプリング効率を向上させるために、1ステップのノイズ除去ジャンプを導入する。
• スコアが1つのノイズレベルだけでなく、連続的なノイズ分散の範囲にわたってマッチングされる、マルチスケールノイズスケジュールを用いてモデルをトレーニングする。
• トレーニング中のノイズレベルの分布を考慮した再重み付け損失を用いてエネルギー関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 複数のノイズスケールにわたるノイズ除去スコアマッチングは、高次元エネルギー関数モデルにおけるサンプル品質の向上をもたらすか？
• RQ2 マルチスケールノイズ除去を組み合わせたアニールドランジュヴィンダイナミクスは、ランダム初期化から高精細な生成を可能にするか？
• RQ3 提案手法は、GANなどの最先端の生成モデルと比較して競争力のあるサンプル品質を達成できるか？
• RQ4 画像補完のような下流タスクへの一般化性能はどの程度高いか？

主な発見

• 提案手法は、高次元データセットにおいて、最先端のGANベース手法と同等の高精細なサンプル生成を達成した。
• ランダム重みからの初期化でも、高品質なサンプルを生成でき、安定したトレーニングダイナミクスを示した。
• 学習されたエネルギー関数は正確な密度推定を提供し、生成以外の応用（例：外れ値検出、ベイズ推論）にも対応可能となった。
• 画像補完タスクにおいても優れた性能を示し、条件付き生成タスクにおける一般化性能が優れていた。