[論文レビュー] On Using Control Variates with Stochastic Approximation for Variational Bayes and its Connection to Stochastic Linear Regression

Tim Salimans, David A. Knowles|arXiv (Cornell University)|Jan 6, 2014

Gaussian Processes and Bayesian Inference参考文献 3被引用数 19

ひとこと要約

本稿では、確率的近似変分ベイズ（SAVI）における分散低減のための新しい制御変数手法を提案する。最適な制御変数が確率的線形回帰と密接に関連していることを示し、既存の手法と比較して顕著に低い分散を達成している。実験結果では、ベースライン手法と比較して勾配推定器の分散が最大で10倍まで低減されている。

ABSTRACT

Recently, we and several other authors have written about the possibilities of using stochastic approximation techniques for fitting variational approximations to intractable Bayesian posterior distributions. Naive implementations of stochastic approximation suffer from high variance in this setting. Several authors have therefore suggested using control variates to reduce this variance, while we have taken a different but analogous approach to reducing the variance which we call stochastic linear regression. In this note we take the former perspective and derive the ideal set of control variates for stochastic approximation variational Bayes under a certain set of assumptions. We then show that using these control variates is closely related to using the stochastic linear regression approximation technique we proposed earlier. A simple example shows that our method for constructing control variates leads to stochastic estimators with much lower variance compared to other approaches.

研究の動機と目的

• 制御変数を用いて、変分ベイズにおける確率的勾配推定器に内在する高い分散を低減すること。
• 確率的近似変分ベイズにおける特定の仮定の下で、理論的に最適な制御変数の集合を導出すること。
• 著者が以前に提唱した確率的線形回帰フレームワークと、提案する制御変数手法との正式な関連を確立すること。
• 実験的に、提案する制御変数が既存の手法と比較して顕著に低い分散を持つ勾配推定器を実現することを示すこと。
• 対数後確率の曲率に関する明示的な知識を必要とせず、解析的共分散構造を活用することで、不確実な後確率に対する効率的かつブラックボックス型の推論を可能にすること。

提案手法

• スコア関数の共分散構造が固定かつ既知であるという仮定の下で、確率的近似変分ベイズのための理想の制御変数を、勾配推定器の分散を最小化することで導出する。
• KLダイバージェンス勾配をスコア関数と対数尤度比の共分散として再定式化し、線形回帰技術による分散低減を可能にする。
• 2段階推定器を提案：まず、モンテカルロサンプルを用いてスコア関数の共分散行列を推定し、次にそれを用いて分散が低減された回帰ベースの勾配推定器を計算する。
• 自然勾配を探索方向として採用し、標準勾配よりも優れた収束特性を示すことが示されている。
• 計算効率を維持するため、共分散行列のサンプルベースの近似を採用し、特に解析的表現が得られない場合に有効である。
• 共分散行列がスパースでかつ小さなブロック（例：2×2）で逆行列が存在するため、スケーラブルな実装が可能な完全因子化指数型分布族近似に適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的近似変分ベイズにおける分散低減のための理論的に最適な制御変数の集合は何か？
• RQ2 提案する制御変数手法は、著者が以前に提唱した確率的線形回帰フレームワークとどのように関連しているか？
• RQ3 提案する制御変数は、実用的状況において、既存の制御変数戦略と比較して顕著に低い分散を達成できるか？
• RQ4 提案する制御変数と自然勾配を併用することで、確率的最適化における収束速度が向上するか？
• RQ5 対数後確率の構造が不明または不確実な場合、この手法はどの程度有効に機能するか？

主な発見

• 提案する制御変数は、Ranganath et al. (2013) や Kingma and Welling (2013) の手法と比較して、勾配推定器の分散を最大で1桁低減する。
• 理想の制御変数を用いた推定器は、平均二乗誤差（MSE）が0.0136にまで低下し、Ranganath et al. の制御変数手法の3.0090と比べて顕著に低い。
• サンプル共分散を用いた回帰ベースの勾配推定器（ˆg_reg）は、分散が0.0180にまで低下し、Paisley et al. (2012) のデルタ法推定器の0.4968と比較して優れている。
• ˆg_reg推定器の平均二乗誤差の約20％が二乗バイアスに起因しているが、これはサンプル数の増加に伴い二次的に減少するため、強い漸近的一貫性が示唆される。
• 偏りのある共分散推定に依存しているにもかかわらず、実用的にはほぼ不偏に近い結果を示しており、実装におけるロバスト性が裏付けられる。
• 対数後確率の構造が不明であっても、この手法は有効に機能し、多様なモデルにブラックボックス的に適用可能である。