[論文レビュー] Learning Generative Models using Denoising Density Estimators

Siavash Bigdeli, Geng Lin+3 more|arXiv (Cornell University)|Jan 8, 2020

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文は、真のデータ密度と生成された密度の間の逆Kullback-Leibler発散を直接最小化することで、生成モデルを訓練するための新しい手法であるノイズ除去密度推定器（DDEs）を導入する。この手法は、正規化フローの可逆的アーキテクチャやODEソルバを必要とせず、微分可能なニューラルネットワークを用いて正規化されていない密度を推定する。これにより、ベンチマークデータセットで最先端の対数尤度性能を達成するとともに、モード崩壊を回避することができる。

ABSTRACT

Learning probabilistic models that can estimate the density of a given set of samples, and generate samples from that density, is one of the fundamental challenges in unsupervised machine learning. We introduce a new generative model based on denoising density estimators (DDEs), which are scalar functions parameterized by neural networks, that are efficiently trained to represent kernel density estimators of the data. Leveraging DDEs, our main contribution is a novel technique to obtain generative models by minimizing the KL-divergence directly. We prove that our algorithm for obtaining generative models is guaranteed to converge to the correct solution. Our approach does not require specific network architecture as in normalizing flows, nor use ordinary differential equation solvers as in continuous normalizing flows. Experimental results demonstrate substantial improvement in density estimation and competitive performance in generative model training.

研究の動機と目的

• 可逆的アーキテクチャやODE統合に依存せずに、効率的な密度推定とサンプリングを可能にする新しい生成モデリングフレームワークの開発。
• GANのモード崩壊や正規化フローの計算複雑性といった従来手法の限界の解消。
• 生成された分布と真のデータ分布の間の統計的発散を直接最小化する統一された訓練目的の提供。
• DDEが多様なデータセットにおいて密度推定とサンプル生成の両面で競争力ある性能を達成できることの実証。

提案手法

• 本手法は、スカラーのニューラルネットワークベースの密度推定器（DDEs）を、ノイズ除去オートエンコーダを用いて訓練し、データ分布の正規化されていない密度を近似する。
• 生成器の訓練は、真のデータ密度と生成された密度の間の逆KL発散を最小化することに定式化され、正しい解への収束を保証する。
• DDEはノイズ除去目的を用いて訓練され、高階導関数や近似を必要とせず、効率的な最適化が可能である。
• 正規化定数は、学習された平均と分散を持つガウス提案分布を用いた重要度サンプリングにより推定される。
• 生成器は、実データおよび生成データの両方に対してDDEを用いてエンドツーエンドで訓練され、エネルギーベースモデルの直接最適化が可能になる。
• 本手法はアーキテクチャに依存せず、微分可能性のみに依存しており、可逆的フローもODEソルバも不要となる。

実験結果

リサーチクエスチョン

• RQ1 可逆写像やODEソルバを必要とせず、真のデータ密度と生成された密度の間の逆KL発散を直接最小化することで、生成モデルを訓練できるか？
• RQ2 正規化フローと自己回帰モデルと比較して、ノイズ除去密度推定器（DDE）は、対数尤度性能とサンプル品質の面でどのように異なるか？
• RQ3 提案手法は、画像生成タスクのような高次元データにおいてモード崩壊を回避できるか？
• RQ4 ノイズ除去目的におけるノイズレベル（ση）がモデル性能と収束に与える影響は何か？
• RQ5 DDEベースのフレームワークは、CIFAR-10 や高解像度画像のような高次元データに、最小限のアーキテクチャ制限で拡張可能か？

主な発見

• 提案手法は、4つのベンチマークデータセット（POWER: 0.97 ± 0.18、GAS: 9.73 ± 1.14、HEPMASS: -11.3 ± 0.16、MINIBOON: -6.94 ± 1.81）で最先端の対数尤度結果を達成した。
• モデルはモード崩壊に対して頑健であり、スタックドMNISTにおいて最先端のWasserstein GANと同等の性能を示した。
• 正規化フローの可逆的カップリング層やODE統合を必要とせず、トレーニングと推論の両方を簡素化した。
• 本手法は、高次元の表形式データや画像データを含む多様なデータタイプに強く一般化する能力を示した。
• 1回の実行あたり51,200サンプルの重要度サンプリングにより、正規化定数の推定が安定し、実験全体で低い分散を示した。
• 理論的分析により、逆KL発散目的下で訓練アルゴリズムが一意のグローバル最適解に収束することが確認された。