[論文レビュー] Deep Energy Estimator Networks

Saeed Saremi, Arash Mehrjou+2 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 46

ひとこと要約

DEEN は、スコアマッチングを用いてデータのエネルギー（正規化されていない対数密度）を学習し、MCMC と Hessian の計算を回避するスケーラブルな深層エネルギー模型。これにより、高次元データでのエネルギー推定、スコア推定、および単一ステップのデノイジングを可能にする。

ABSTRACT

Density estimation is a fundamental problem in statistical learning. This problem is especially challenging for complex high-dimensional data due to the curse of dimensionality. A promising solution to this problem is given here in an inference-free hierarchical framework that is built on score matching. We revisit the Bayesian interpretation of the score function and the Parzen score matching, and construct a multilayer perceptron with a scalable objective for learning the energy (i.e. the unnormalized log-density), which is then optimized with stochastic gradient descent. In addition, the resulting deep energy estimator network (DEEN) is designed as products of experts. We present the utility of DEEN in learning the energy, the score function, and in single-step denoising experiments for synthetic and high-dimensional data. We also diagnose stability problems in the direct estimation of the score function that had been observed for denoising autoencoders.

研究の動機と目的

• 高次元データに対する普遍的な密度推定を、深層階層型エネルギー基盤アプローチで動機づける。
• スコアマッチングに基づく推論不要の目的を導入して、エネルギー関数を学習する。
• MCMC を用いずにエネルギーを推定するために、専門家の積として実装された DEEN（深層エネルギー推定器）を提案する。
• エネルギー推定、スコア関数、および単一ステップのデノイジングの関係を探る。
• 直接的なスコア推定で見られる安定性の問題を診断し、エネルギーに基づく学習の頑健性を実証する。

提案手法

• エネルギー E(x;θ) をニューラルネットワークで定義し、p(x;θ) ∝ exp(-E(x;θ)) をモデル化する。
• 分布の分配関数 Z(θ) の計算を回避するためにスコアマッチングを用いる。
• Parzen スコアマッチングを採用して、エネルギーをニューラルネットワークで推定するスケーラブルで SGD 直感的な目的を作成する。
• E を MLP でパラメータ化し、スコア ψ(x;θ) = -∇_x E(x;θ) を計算する。
• DEEN を専門家の積として形成し、隠れユニットからのエネルギー寄与を分散的に可能にする。
• Parzen に滑らかにしたデータサンプルを用いた確率的勾配降下法で DEEN の目的関数 L_DEEN(θ) を最適化する。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで推論不要の目的は、複雑なデータ分布の正確なエネルギー関数を学習できるのか？
• RQ2 Parzen スコアマッチングはヘッセ行列の計算なしでエネルギーとスコア推定を効率化できるのか？
• RQ3 DEEN は直接的なスコア推定法で見られる不安定性（非ゼロ回curlなど）に対して頑健か？
• RQ4 DEEN は高次元データにおける単一ステップのデノイジングとエネルギーランドスケープの診断をサポートできるのか？
• RQ5 密度推定のためのエネルギーの積としての形態（product-of-experts）を使用する利点と制約は何か？

主な発見

• DEEN は、合成的な 2D データや MNIST、自然画像パッチのような実データセットに対してエネルギーランドスケープを正確に学習する。
• Parzen スコアマッチングの目的はヘッセ行列の計算を回避し、 SGD でスケールする。
• プレーンな MLP を用いた直接的なスコア推定は不安定性を示す（非ゼロ curl）、一方 DEEN はエネルギーからスコアが導かれるため安定である。
• DEEN は学習したエネルギーを用いてデノイジング手順を計算することで単一ステップのデノイジングを実現し、実験で単純なベースラインを上回る。
• 対比的散逸様式の更新はエネルギー学習で失敗（モード崩壊）する可能性があり、DEEN の安定性の利点を強調する。
• 実験は MNIST と van Hateren の自然画像でデノイジングとエネルギー推定をデモンストレーションし、σ の適切なハイパーパラメータ選択を示す。