[論文レビュー] Fast robustness quantification with variational Bayes

Ryan Giordano, Tamara Broderick+3 more|arXiv (Cornell University)|Jun 23, 2016

Agricultural risk and resilience参考文献 16被引用数 4

ひとこと要約

本稿では、変分ベイズ（VB）と線形応答変分ベイズ（LRVB）を組み合わせることで、ベイジアン階層モデルにおける頑健性の定量化を高速かつスケーラブルに行う手法を提案する。MCMCに比べて最大50倍速く、事後分布の不確実性と頑健性を正確に捉えることができ、マイクロクレジット効果のメタアナリシスにおいて実証された。

ABSTRACT

Bayesian hierarchical models are increasing popular in economics. When using hierarchical models, it is useful not only to calculate posterior expectations, but also to measure the robustness of these expectations to reasonable alternative prior choices. We use variational Bayes and linear response methods to provide fast, accurate posterior means and robustness measures with an application to measuring the effectiveness of microcredit in the developing world.

研究の動機と目的

• 経済学分野における大規模データセットを対象としたベイジアン階層モデルのフィッティングにおいて、マルコフ連鎖モンテカルロ法（MCMC）に伴う計算負荷を軽減すること。
• 標準的なMCMCワークフローでしばしば無視される、事後期待値の事前分布への摂動に対する頑健性を測定する、高速で自動化された手法を提供すること。
• 変分ベイズ（VB）と線形応答変分ベイズ（LRVB）を組み合わせることで、MCMCに比べて桁違いに高速に事後分布の近似と頑健性指標を提供できることを示すこと。
• マイクロクレジットメタアナリシスにおけるグローバル治療効果の事後推定値が、事前ハイパーパrameterの妥当な変更に対してどれほど感度を示すかを評価すること。

提案手法

• 真の事後分布を、制限された独立指数型分布族のクラス内でKullback-Leibler発散を最小化することで近似するため、変分ベイズ（VB）を用いる。
• VBの目的関数を摂動させ、事後モーメント生成関数の導関数を計算することで、事後分散の推定値を改善する線形応答変分ベイズ（LRVB）を適用する。
• VBの目的関数を事前分布パラメータで微分することで、事後平均の事前ハイパーパrameterへの感度を測定し、局所的頑健性分析を可能にする。
• 自動微分を用いて、LRVBに必要な勾配およびヘッセ行列の逆行列を効率的に計算し、高速かつスケーラブルな頑健性定量化を実現する。
• 実世界のマイクロクレジットメタアナリシスを用いて、VBとLRVBの結果をMCMCベンチマーク（事後平均、標準偏差、感度指標）と照合して妥当性を検証する。
• 感度推定値を事後標準偏差で正規化することで、事前分布の変更が意味のある、解釈可能な単位で事後平均に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズに線形応答（LRVB）を組み合わせることで、社会科学研究応用におけるベイジアン階層モデルの事後分布近似を高速かつ正確に行えるか？
• RQ2 VB+LRVBの計算速度は、実世界のデータを用いた階層モデルのフィッティングにおいて、MCMCに比べてどの程度速いか？
• RQ3 事後推定値（特にグローバル治療効果）が事前ハイパーパrameterの選択に対してどれほど感度を示すか。また、LRVBはその感度を効率的に検出できるか？
• RQ4 再び高コストなMCMCチェインを走らせる必要なく、LRVBは事前分布摂動が事後平均に与える影響を正確に予測できるか？
• RQ5 事後標準偏差は、事後平均が事前仮定に著しく感度を示す場合に、主観的不確実性を適切に反映していると言えるか？

主な発見

• VBにLRVBを組み合わせた手法は、MCMCとほぼ同一の事後平均推定値を達成し、マイクロクレジット効果（τ）の事後平均が3.08、標準偏差が1.83であった。
• LRVBは、単純VBによる事後標準偏差の過小評価を是正し、MCMCベースの基準値に極めて近い推定値を達成した。
• VB+LRVBパイプライン全体（頑健性指標を含む）は58秒で実行されたが、2500回のMCMCサンプル生成には45分を要したため、45倍以上高速であった。
• LRVBによる感度推定値は、手動で事前分布を摂動させMCMCを再実行した際の事後平均の実際の変化とよく一致しており、その正確性が裏付けられた。
• 事後平均τは、事前精度パラメータΛ₁₁の0.01の増加に対して、8.88個分の事後標準偏差の感度を示しており、妥当な事前不確実性下でも頑健でないことが示された。
• 非対角成分（Λ₁₂）に対する感度はさらに強く、パラメータ間の相関に関する事前仮定が、結論を劇的に変える可能性があることを示唆している。