[論文レビュー] Sublinear Approximate Inference for Probabilistic Programs

Yutian Chen, Vikash K. Mansinghka+1 more|arXiv (Cornell University)|Nov 6, 2014

Bayesian Methods and Mixture Models参考文献 11被引用数 2

ひとこと要約

この論文は、回帰や状態空間モデルなどの高次元結合確率モデルにおける効率的なベイズ推論を可能にする、動的に構築されたグラフィカルモデルにおけるエッジのサブサンプリングを用いた、部分線形時間のメトロポリス・ハスティングスアルゴリズムを提案する。この手法は、ロジスティック回帰、ディリクレ過程混合モデル、確率的ボラティリティなど、多様な応用分野において、1タスクあたり20行未満のコードでスケーラブルな推論を達成する。

ABSTRACT

Probabilistic programming languages can simplify the development of ma-chine learning techniques, but only if inference is sufficiently scalable. Un-fortunately, Bayesian parameter estimation for highly coupled models such as regressions and state-space models still scales badly. This paper de-scribes a sublinear-time algorithm for making Metropolis-Hastings updates to latent variables in probabilistic programs. This approach generalizes re-cently introduced approximate MH techniques: instead of subsampling data items assumed to be independent, it subsamples edges in a dynamically con-structed graphical model. It thus applies to a broader class of problems and interoperates with general-purpose inference techniques. Empirical results are presented for Bayesian logistic regression, nonlinear classification via joint Dirichlet process mixtures, and parameter estimation for stochastic volatility models (with state estimation via particle MCMC). All three ap-plications use the same implementation, and each requires under 20 lines of probabilistic code. 1

研究の動機と目的

• 回帰や状態空間モデルのような高次元結合確率モデルにおけるベイズ推論のスケーラビリティの低さを改善すること。
• 計算コストを低減しつつ精度を維持する部分線形時間の推論アルゴリズムを開発すること。
• 従来のi.i.d.データサブサンプリングを超えて、構造的で相関のあるモデルへと、近似メトロポリス・ハスティングス手法を一般化すること。
• 一般用途の推論手法と相互運用可能な確率的プログラミングフレームワークへの統合を可能にすること。
• 最小限の確率的コードで、多様な現実世界の応用分野において本手法の有効性を示すこと。

提案手法

• 確率的プログラムの依存関係を特定するため、動的に構築されたグラフィカルモデル表現を構築する。
• 個々のデータアイテムではなく、このグラフィカルモデルのエッジをサブサンプリングすることで、計算オーバーヘッドを低減する。
• エッジのサブサンプリングにより、モデルサイズに比例しない（部分線形に比例する）近似メトロポリス・ハスティングス更新が可能になる。
• やや厳しい正則性条件のもとで、詳細釣り合いと漸近的正しさを保つ。
• 既存の推論エンジン（特に状態推定のためのパーティクルMCMCを含む）とシームレスに統合可能である。
• 実装は軽量であり、1アプリケーションあたり20行未満の確率的コードで実現可能である。

実験結果

リサーチクエスチョン

• RQ1 動的に構築されたグラフィカルモデルにおけるエッジベースのサブサンプリングは、結合モデルにおける部分線形時間のベイズ推論を可能にするか？
• RQ2 エッジサブサンプリングは、従来のデータサブサンプリングと比較して、精度と効率の面で優れているか？
• RQ3 同じ推論実装を、最小限のコード変更で多様な確率的モデルに再利用可能か？
• RQ4 部分線形サンプリング下でも、正しさと収束性の性質が保たれるか？
• RQ5 本手法は、確率的ボラティリティや非線形混合モデルのような複雑なモデルへどの程度スケーリング可能か？

主な発見

• 提案手法は、動的に構築されたグラフィカルモデルにおけるエッジのサブサンプリングにより、部分線形時間計算量を達成し、推論コストを顕著に低減する。
• 実験結果から、本手法はベイズ的ロジスティック回帰、ディリクレ過程混合モデルによる非線形分類、確率的ボラティリティモデルのすべてにおいて、効果的にスケーリングすることが示された。
• 3つの応用とも、確率的コードが20行未満で実現可能であり、高いコード再利用性とシンプルさが実証された。
• 本手法は、完全データのメトロポリス・ハスティングスと同等の精度を維持しながら、計算時間を著しく削減する。
• 本手法はi.i.d.データの仮定を越えて一般化され、複雑な依存関係を持つモデルにおける推論を可能にする。
• 一般用途の推論手法（パーティクルMCMCを含む）と相互運用可能であり、その応用範囲を拡大する。