[論文レビュー] Fast Inference for Intractable Likelihood Problems using Variational Bayes

David Gunawan, Minh‐Ngoc Tran+1 more|arXiv (Cornell University)|May 18, 2017

Statistical Methods and Bayesian Inference参考文献 22被引用数 8

ひとこと要約

本稿では、尤度が扱いにくいが、対数尤度勾配の不偏推定量が利用可能な、Big DataおよびBig Panel Dataモデルにおけるベイズ推論の計算効率の良い手法である、不確実な対数尤度を伴う変分ベイズ法（VBILL）を提案する。データサブサンプリングとMapReduceフレームワークを活用することで、VBILLは制御可能なモンテカルロ誤差の範囲で正確な推論を達成し、従来の変分ベイズ法や疑似周辺化MCMC手法に比べ、収束性と安定性が著しく向上する。

ABSTRACT

Variational Bayes (VB) is a popular estimation method for Bayesian inference. However, most existing VB algorithms are restricted to cases where the likelihood is tractable, which precludes their use in many important situations. Tran et al. (2017) extend the scope of application of VB to cases where the likelihood is intractable but can be estimated unbiasedly, and name the method Variational Bayes with Intractable Likelihood (VBIL). This paper presents a version of VBIL, named Variational Bayes with Intractable Log-Likelihood (VBILL), that is useful for cases as Big Data and Big Panel Data models, where unbiased estimators of the gradient of the log-likelihood are available. We demonstrate that such estimators can be easily obtained in many Big Data applications. The proposed method is exact in the sense that, apart from an extra Monte Carlo error which can be controlled, it is able to produce estimators as if the true likelihood, or full-data likelihood, is used. In particular, we develop a computationally efficient approach, based on data subsampling and the MapReduce programming technique, for analyzing massive datasets which cannot fit into the memory of a single desktop PC. We illustrate the method using several simulated datasets and a big real dataset based on the arrival time status of U. S. airlines.

研究の動機と目的

• 標準的な変分ベイズ（VB）手法が、扱いやすい尤度を必要とするという制限を、現代のBig DataおよびBig Panel Dataアプリケーションにおいて解決すること。
• 尤度が扱いにくいが、対数尤度勾配の不偏推定量を効率的に計算できる状況にまでVBを拡張すること。
• 計算スケーラビリティを保ちながら、モンテカルロ誤差を制御可能な範囲に保つことで、事後分布推論の正確性（正確性）を維持する手法の開発。
• Big Dataにおける疑似周辺化メトロポリス・ハスティングス（PMMH）の悪い混合特性と高い計算コストを克服するため、VBの効率性とPMMHの正確性を組み合わせること。

提案手法

• VBILLは、データサブサンプリングを用いて導出された、対数尤度勾配の不偏推定量を用い、変分ベイズ推論の最適化プロセスをガイドする。
• この手法は、標準VBと同一のカルバック・ライブラー（Kullback-Leibler）ダイバージェンスを最小化するため、モンテカルロ誤差がゼロに近づく極限では近似が正確になる。
• Fisherの恒等式を活用することで、混合効果パネルモデルのような積分が扱いにくいモデルに対しても、不偏勾配推定量を導出可能である。
• 大規模データセットを1台のマシンに収容できない場合でも、分散処理とメモリ効率の良い処理を実現するため、MapReduceプログラミングパラダイムを採用している。
• VBILLは、変分下界の確率的最適化に勾配情報を組み込み、収束速度と安定性を向上させる。
• シミュレーションと実世界の航空機到着時刻データセットによる実験を通じて、スケーラビリティと正確性の両立が確認された。

実験結果

リサーチクエスチョン

• RQ1 扱いにくい尤度を伴うモデルに対し、変分ベイズを拡張することで、事後分布近似の正確性を保ちながら適用可能か。
• RQ2 Big DataおよびBig Panel Dataモデルにおいて、対数尤度の不偏勾配推定量をどのように効率的に構築できるか。
• RQ3 変分ベイズ推論に勾配情報を組み込むことで、標準VBILに比べ収束速度と安定性が向上するか。
• RQ4 提案手法が、1台のマシンのメインメモリに収容できないような大規模データセットにスケーリング可能か。
• RQ5 高次元かつ扱いにくい尤度を伴う設定において、VBILLはPMMHおよび標準VBに比べ、正確性と計算効率の両面で優れているか。

主な発見

• VBILLは、制御可能なモンテカルロ誤差の範囲で正確な推論を達成しており、全データ尤度が利用可能であるかのように、事後分布近似が正確である。
• 勾配情報を変分最適化プロセスに組み込むことで、収束速度と安定性が著しく向上する。
• データサブサンプリングにより、独立なBig Dataおよびランダム効果を伴うパネルモデルの両方において、対数尤度勾配の不偏推定が可能である。
• MapReduceベースの実装により、メインメモリに収容できないほどの大規模データセットのスケーラブルな分析が可能となり、実世界のBig Dataにおける実用的推論を実現する。
• シミュレーションおよび実際の航空機到着時刻データに対する実証的結果から、VBILLは計算効率に優れながらも高い正確性を維持していることが示された。
• VBILLは、Big Data環境下でPMMHの高い計算コストと悪い混合特性を回避し、VBの効率性と疑似周辺化手法の正確性を組み合わせた。