[論文レビュー] Stochastic Backpropagation through Mixture Density Distributions

Alex Graves|arXiv (Cornell University)|Jul 19, 2016

Gaussian Processes and Bayesian Inference参考文献 3被引用数 35

ひとこと要約

本稿では、多変量分位数変換とモンテカルロサンプリングを用いて混合重みの不偏勾配推定器を導出し、混合密度分布を持つモデルを訓練するための確率的バックプロパゲーション手法を提案する。この手法により、微分可能なサンプリングと勾配推定が可能になり、離散的混合成分における再パラメータ化トリックの制限を克服し、混合分布ラティントを備えた変分オートエンコーダーのエンドツーエンド学習が実現される。

ABSTRACT

The ability to backpropagate stochastic gradients through continuous latent distributions has been crucial to the emergence of variational autoencoders and stochastic gradient variational Bayes. The key ingredient is an unbiased and low-variance way of estimating gradients with respect to distribution parameters from gradients evaluated at distribution samples. The "reparameterization trick" provides a class of transforms yielding such estimators for many continuous distributions, including the Gaussian and other members of the location-scale family. However the trick does not readily extend to mixture density models, due to the difficulty of reparameterizing the discrete distribution over mixture weights. This report describes an alternative transform, applicable to any continuous multivariate distribution with a differentiable density function from which samples can be drawn, and uses it to derive an unbiased estimator for mixture density weight derivatives. Combined with the reparameterization trick applied to the individual mixture components, this estimator makes it straightforward to train variational autoencoders with mixture-distributed latent variables, or to perform stochastic variational inference with a mixture density variational posterior.

研究の動機と目的

• 離散的混合重みのため再パラメータ化が不可能な混合密度分布をバックプロパゲートする課題に対処すること。
• 再パラメータ化トリックを混合モデルに拡張するため、混合重みの不偏勾配推定器を導出すること。
• 深層生成モデルにおける混合密度変分事後分布を用いた確率的変分推論を可能にすること。
• 微分可能な密度関数と容易に逆転可能な累積分布関数（CDF）を備えた任意の連続的多変量分布を経由した勾配推定の一般枠組みを提供すること。

提案手法

• 累積分布関数（CDF）の逆転を用いて一様乱数変数から連続分布に従うサンプルを生成する多変量分位数変換を使用すること。
• ライブニッツ積分則とCDFの再帰的逆転を用いて、分布のパラメータに対する一般勾配推定器を導出すること。
• 勾配計算における扱いにくい積分を、条件付き密度からの棄却サンプリングを用いてモンテカルロサンプリングにより推定すること。
• 条件付き密度を成分密度の重み付き和として表現し、再帰的更新により成分の責任（responsibility）を追跡することで、混合密度モデルにこの手法を適応すること。
• ラティント次元全体にわたる混合重みに関する勾配を、ラティント変数と成分責任の両方の微分を同時に計算するための連鎖的再帰式を導出することにより、混合分布を介したバックプロパゲーションを可能にすること。
• 前向きサンプリングと分位数変換および混合構造を介した微分の後向き伝搬を繰り返し行うことで勾配を計算する疑似コード（アルゴリズム1）を採用すること。

実験結果

リサーチクエスチョン

• RQ1 再パラメータ化トリックが離散的混合重みのため機能不能となる状況下で、混合密度パラメータの不偏かつ低分散勾配推定器を導出できるか？
• RQ2 微分可能なサンプリングと容易なCDF逆転のみを用いて、混合密度分布のラティント変数を経由した勾配をどのように計算できるか？
• RQ3 分位数変換と再帰的責任追跡、モンテカルロ統合を組み合わせることで、混合モデルへの確率的バックプロパゲーションを拡張可能か？
• RQ4 混合重みを介したバックプロパゲーションを維持しつつ、微分可能性と数値安定性を確保するための計算構造は何か？

主な発見

• 提案手法は、多変量分位数変換と扱いにくい積分のモンテカルロ近似を組み合わせることで、混合密度パラメータの不偏勾配推定を可能にする。
• この勾配推定器は、混合分布に限らず、微分可能な密度関数と容易に逆転可能なCDFを備えた任意の連続的多変量分布に適用可能である。
• 混合モデルでは、ラティント次元全体にわたる混合重みに関する勾配を、成分責任とその微分を追跡する連鎖的再帰式を用いて計算する。
• 本手法により、混合分布ラティント変数を備えた変分オートエンコーダーのエンドツーエンド学習が可能になり、より柔軟な事後分布近似が実現される。
• 本手法は、フルCDFの勾配を明示的に計算する必要がなく、疑似コードと再帰的勾配計算により、数値的に安定かつ効率的であることが実証されている。
• 本フレームワークは、混合密度変分事後分布を用いた確率的変分推論をサポートし、変分推論の適用範囲を複雑でマルチモーダルな事後分布へと拡張可能である。