[論文レビュー] Variance reduction properties of the reparameterization trick

Ming Xu, Matias Quiroz+2 more|arXiv (Cornell University)|Sep 27, 2018

Molecular Biology Techniques and Applications被引用数 5

ひとこと要約

本稿は、変分推論における再パrameterizationトリックが勾配の分散を低減する理由について、理論的分析を提供している。平均場ガウス分布および2次対数結合密度の仮定の下で、再パラメータ化勾配推定器は、サンプリング領域における変動が小さいため、スコア関数推定器よりも低い周辺分散を持つことが示されている。主な貢献は、再パラメータ化トリックの経験的成功を説明する形式的な分散分解である。

ABSTRACT

The reparameterization trick is widely used in variational inference as it yields more accurate estimates of the gradient of the variational objective than alternative approaches such as the score function method. Although there is overwhelming empirical evidence in the literature showing its success, there is relatively little research exploring why the reparameterization trick is so effective. We explore this under the idealized assumptions that the variational approximation is a mean-field Gaussian density and that the log of the joint density of the model parameters and the data is a quadratic function that depends on the variational mean. From this, we show that the marginal variances of the reparameterization gradient estimator are smaller than those of the score function gradient estimator. We apply the result of our idealized analysis to real-world examples.

研究の動機と目的

• 再パラメータ化トリックが変分推論で優れた性能を示す背後にある理論的根拠を理解すること。
• 理想化された仮定の下で、スコア関数勾配推定器と再パラメータ化勾配推定器の分散特性を比較すること。
• 変分近似が平均場ガウス分布であり、対数結合密度が変分平均に関して2次関数であるという簡略化された設定において、両推定器の周辺分散の解析的表現を導出すること。
• 非理想的だが現実世界のモデル（例：多項ロジスティック回帰やベイジアンニューラルネットワーク）において、仮定が厳密に満たされない状況でも理論的発見を検証すること。

提案手法

• 平均場ガウス分布の変分近似と、変分平均に依存する2次対数結合密度関数を仮定することで、解析的扱いやすさを確保する。
• 対数結合密度の2階テイラー展開を用いて、スコア関数推定器および再パラメータ化勾配推定器の周辺分散の閉形式表現を導出する。
• Rao-Blackwellizationを適用して、スコア関数推定器の周辺分散の下界を導出し、再パラメータ化推定器との直接比較を可能にする。
• 導出した分散表現を用いて、曲率、スケールパラメータ、および平均値が推定器の効率に与える影響を分析する。
• 実モデル（ベイジアン多項ロジスティック回帰と2層のベイジアンニューラルネットワーク）において理論的知見を検証するが、対数結合密度は非2次的である。
• MNISTデータを用いた3つの実験を通じて、スケールパラメータと平均値が勾配分散に与える影響を調査し、実験的結果と理論的予測を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ実際の応用において再パラメータ化トリックはスコア関数法よりも低い分散の勾配推定器をもたらすのか？
• RQ2 平均場ガウス分布および2次対数結合密度の仮定の下で、スコア関数推定器と再パラメータ化勾配推定器の周辺分散はどのように比較されるか？
• RQ3 勾配推定器がそのサンプリング領域で示す変動が、分散低減に果たす役割は何か？
• RQ4 曲率、スケールパラメータ、および平均値は、2つの勾配推定器の相対的効率にどのように影響するか？
• RQ5 理想化された仮定の下で導出した理論的分散表現は、非理想的で現実世界のモデル（非2次的対数結合密度）においても、勾配分散の挙動をどの程度うまく説明できるか？

主な発見

• 再パラメータ化勾配推定器は、サンプリング領域における変動が小さいため、スコア関数推定器よりも低い周辺分散を持つ。
• スコア関数推定器は変分平均の高次項を含むため、再パラメータ化推定器と比較してより高いばらつきを示す。
• 両推定器の周辺分散は、変分平均の周囲における対数結合密度の局所的曲率（ヘッセ行列のノルムで測定）が高くなるほど増加する。
• スコア関数推定器の周辺分散は、変分スケールパラメータが0に近づくと増加するが、再パラメータ化推定器はそのような状況でも安定している。
• ベイジアンニューラルネットワークでは対数結合密度が非2次的であるが、サンプリング領域における変動の低減という理論的直観が、実際の分散低減を説明している。
• MNIST多項ロジスティック回帰における実験結果は、理論的分散表現が、特にスケールパラメータが小さい場合に勾配分散のトレンドを捉えていることを示しており、分散が増加するにつれて近似の精度が低下するが、依然として有効である。