[論文レビュー] Stochastic Backpropagation and Approximate Inference in Deep Generative Models

Danilo Jimenez Rezende, Shakir Mohamed+1 more|arXiv (Cornell University)|Jan 16, 2014

Gaussian Processes and Bayesian Inference参考文献 21被引用数 2,647

ひとこと要約

本論文は、ガウス潜在変数を持つ深層生成モデルの最適化のための確率的バックプロパゲーション則を導出し、ガウス勾配恒等式を提示し、分散削減と近似推論手法を論じている。

ABSTRACT

We marry ideas from deep neural networks and approximate Bayesian inference to derive a generalised class of deep, directed generative models, endowed with a new algorithm for scalable inference and learning. Our algorithm introduces a recognition model to represent approximate posterior distributions, and that acts as a stochastic encoder of the data. We develop stochastic back-propagation -- rules for back-propagation through stochastic variables -- and use this to develop an algorithm that allows for joint optimisation of the parameters of both the generative and recognition model. We demonstrate on several real-world data sets that the model generates realistic samples, provides accurate imputations of missing data and is a useful tool for high-dimensional data visualisation.

研究の動機と目的

• 決定論的成分と確率的成分を分離することによって、深層生成モデルにおける確率的バックプロパゲーションの動作を明確にする。
• ガウス期待値に対する Bonnet の定理と Price の定理を導出して、勾配計算を可能にする。
• 分散削減の実践的手法と、非ガウス分布に対する柔軟な座標変換を提供する。
• ガウス潜在構造を持つ深層指向モデルにおける確率的推論と学習を示す。

提案手法

• h_l から ξ_l への座標変換を介して、決定論的部分と確率的部分を分離することにより、結合対数尤度を形式化する。
• 効率的な勾配推定のために、ガウス勾配恒等式（Bonnet の定理と Price の定理）を導出する。
• 2つの確率的バックプロパゲーション手法を提示する：積の法則に基づく方法で B(x;θ) 変換を用いる方法と、様々な分布に対する代替の座標変換アプローチ。
• コントロール變量による分散削減技術を議論し、REINFORCE をこの枠組みに関連づける。
• 重要度サンプリングによる周辺尤度の推定量を記述し、欠損ピクセル上のマルコフ連鎖を用いた欠損データ補完手順を概説する。

実験結果

リサーチクエスチョン

• RQ1 ガウス潜在変数をもち深層生成モデルに対して、確率的バックプロパゲーションをどのように導出し適用できるか。
• RQ2 ガウスノイズ下の期待値の勾配推定を実現するガウス勾配恒等式とは何か。
• RQ3 変分学習で用いられる確率的勾配推定量の分散をどのように低減できるか。
• RQ4 座標変換や非線形再パラメタライズを介して、非ガウス分布へ確率的バックプロパゲーションを拡張できるか。
• RQ5 この枠組みの中で周辺尤度と欠損データをどのように扱えるか。

主な発見

• Bonnet の定理は、平均に関してガウスの下での期待値の勾配が、関数の勾配の期待値に等しいことを示す。
• Price の定理は、共分散に関して期待値の勾配を、ガウスノイズ下での関数のヘッセ行列の期待値の半分として表す。
• 積の法則に基づく確率的バックプロパゲーション手法は、勾配を変換して確率的層を越えたバックプロパゲーションを可能にするため、非線形関数 B(x) を導入する。
• 代替の座標変換は、Levy、Log-Normal、Generalized Extreme Value 系列など、ガウス以外の分布に対して確率的バックプロパゲーションを可能にする。
• 分散解析は、REINFORCE型推定量がBonnet/Pricesベースの手法より分散が大きくなりやすいこと、特に変数数が増えると顕著になることを示す。
• 重要度サンプリングは、認識モデルからのサンプルを用いて周辺尤度の実用的な推定量を提供する。