[論文レビュー] Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders

Yoshua Bengio, Guillaume Alain+1 more|arXiv (Cornell University)|Jun 30, 2012

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 15

ひとこと要約

本稿では、最大尤度密度推定の新しい代替手法として、局所モーメントマッチングを提案する。非線形自己符号化器（コントラクト型およびノイズ除去型）が、データ生成密度の局所平均および局所分散を暗黙的に推定していることを示している。この推定器を状態依存のガウス分布を用いたマルコフ連鎖に組み込むことで、モデルの暗黙的密度からのサンプリングが可能となり、コントラクト型およびノイズ除去型自己符号化器の両方のサンプリングアルゴリズムが理論的裏付けとともに拡張される。

ABSTRACT

Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of the unknown data generating density. This paper contributes to the mathematical understanding of this phenomenon and helps define better justified sampling algorithms for deep learning based on auto-encoder variants. We consider an MCMC where each step samples from a Gaussian whose mean and covariance matrix depend on the previous state, defines through its asymptotic distribution a target density. First, we show that good choices (in the sense of consistency) for these mean and covariance functions are the local expected value and local covariance under that target density. Then we show that an auto-encoder with a contractive penalty captures estimators of these local moments in its reconstruction function and its Jacobian. A contribution of this work is thus a novel alternative to maximum-likelihood density estimation, which we call local moment matching. It also justifies a recently proposed sampling algorithm for the Contractive Auto-Encoder and extends it to the Denoising Auto-Encoder.

研究の動機と目的

• 自己符号化器の学習と局所モーメント推定を通じた暗黙的密度推定の関係を形式化すること。
• コントラクト型自己符号化器に提案されたサンプリングアルゴリズムの理論的整合性を裏付けること。
• コントラクト型自己符号化器と同様に、局所モーメントを推定することを示すことにより、サンプリング手法をノイズ除去型自己符号化器に拡張すること。
• パーティション関数の計算を必要とせず、自己符号化器を暗黙的密度モデルとして用いる理論的基盤を提供すること。
• コントラクト型およびノイズ除去型自己符号化器の再構成関数とヤコビアンが、ターゲット密度下での局所期待値および局所分散の一貫した推定器を提供することを確立すること。

提案手法

• 各ステップで、現在の状態のターゲット密度下での局所モーメントに基づく平均および分散を持つガウス分布からサンプリングするマルコフ連鎖を定式化する。
• このような連鎖における最適な平均および分散関数が、ターゲット密度の局所期待値および局所分散に一致することを示す。
• コントラクト型自己符号化器が、コントラクト型ペナルティの下で再構成関数およびそのヤコビアンにより、これらの局所モーメントを推定することを実証する。
• 小さなガウスノイズと二乗誤差損失を用いた場合、ノイズ除去型自己符号化器がコントラクト型自己符号化器と数学的に同等であり、収縮ペナルティがノイズ分散に一致することを証明することで、分析を拡張する。
• コントラクト型正則化を伴う再構成誤差の非パラメトリック最小化により、自己符号化器のパラメータから局所モーメントの推定器を導出する。
• マルコフ連鎖のステップサイズを制御するハイパーパrameterを用い、生成されたサンプルにParzen窓法を適用して対数尤度推定により最適化する。

実験結果

リサーチクエスチョン

• RQ1 コントラクト型およびノイズ除去型自己符号化器は、データ生成密度の局所モーメント（平均および分散）を暗黙的に推定できるか？
• RQ2 推定された局所モーメントを提案パラメータとして用いたマルコフ連鎖は、ターゲット密度と整合する分布に収束するか？
• RQ3 コントラクト型自己符号化器に提案されたサンプリングアルゴリズムをノイズ除去型自己符号化器に拡張できるか？
• RQ4 再構成関数およびそのヤコビアンを局所モーメントの推定器として用いる理論的裏付けは何か？
• RQ5 パラメトリックモデルを用いる場合、非パラメトリック極限と比較して、局所モーメント推定の整合性にはどのような影響があるか？

主な発見

• 小さなガウスノイズと二乗誤差損失を用いたコントラクト型およびノイズ除去型自己符号化器は、データ生成密度の局所平均および局所分散を暗黙的に推定する。
• 提案されたマルコフ連鎖の漸近的分布は、提案パラメータとして推定された局所モーメントを使用した場合、ターゲット密度と一致する。
• 小さなノイズを用いたノイズ除去型自己符号化器は、数学的にノイズ分散に等しい収縮ペナルティを持つコントラクト型自己符号化器と同等である。
• コントラクト型またはノイズ除去型自己符号化器の再構成関数およびそのヤコビアンは、ターゲット密度下での局所期待値および局所分散の一致した推定器を提供する。
• 状態依存のガウス提案分布を用いたマルコフ連鎖によるモデルからのサンプリングは、MNISTおよびToronto Face Datasetの実験で高品質で現実的なサンプルを生成することが確認された。
• この手法は計算が困難なパーティション関数の計算を回避し、推論を必要としないため、複雑なモデルに適している。