[論文レビュー] Variational consensus Monte Carlo

Maxim Rabinovich, Elaine Angelino+1 more|arXiv (Cornell University)|Jun 9, 2015

Gaussian Processes and Bayesian Inference参考文献 26被引用数 15

ひとこと要約

この論文では、標準のコンSENSUSモンテカルロより事後分布の近似を改善するために、集合関数を最適化するデータ並列なベイジアン推論手法である変分コンセンサスモンテカルロ（VCMC）を紹介する。集合を変分ベイズ問題として定式化し、緩和されたブロックごとに凹関数となる目的関数を用いることで、VCMCはコンセンサスモンテカルロに比べて事後分布推定誤差を最大92％まで低減する。計算コストの増加は限定的であり、大規模データセットではほぼ理想に近いスループットを達成する。

ABSTRACT

Practitioners of Bayesian statistics have long depended on Markov chain Monte Carlo (MCMC) to obtain samples from intractable posterior distributions. Unfortunately, MCMC algorithms are typically serial, and do not scale to the large datasets typical of modern machine learning. The recently proposed consensus Monte Carlo algorithm removes this limitation by partitioning the data and drawing samples conditional on each partition in parallel (Scott et al, 2013). A fixed aggregation function then combines these samples, yielding approximate posterior samples. We introduce variational consensus Monte Carlo (VCMC), a variational Bayes algorithm that optimizes over aggregation functions to obtain samples from a distribution that better approximates the target. The resulting objective contains an intractable entropy term; we therefore derive a relaxation of the objective and show that the relaxed problem is blockwise concave under mild conditions. We illustrate the advantages of our algorithm on three inference tasks from the literature, demonstrating both the superior quality of the posterior approximation and the moderate overhead of the optimization step. Our algorithm achieves a relative error reduction (measured against serial MCMC) of up to 39% compared to consensus Monte Carlo on the task of estimating 300-dimensional probit regression parameter expectations; similarly, it achieves an error reduction of 92% on the task of estimating cluster comembership probabilities in a Gaussian mixture model with 8 components in 8 dimensions. Furthermore, these gains come at moderate cost compared to the runtime of serial MCMC, achieving near-ideal speedup in some instances.

研究の動機と目的

• 複雑で高次元の事後分布を、最適でない集合関数による近似によって不十分に近似するコンセンサスモンテカルロの限界を解消すること。
• 単純な平均化を超えて、構造に配慮した適応的集合を可能にする、スケーラブルでデータ並列なMCMCフレームワークを構築すること。
• 集合関数の選択を変分ベイズ問題として定式化し、柔軟で非線形な関数の最適化を可能にすること。
• 計算効率を維持したまま、シリアルMCMCに比べて事後分布近似の誤差を低減すること。
• 正定値行列やクラスタ中心など、構造的推論問題に対応するための、特化した集合関数を提供すること。

提案手法

• VCMCは、部分事後分布サンプルの集合を、真の事後分布からの発散を最小化するように最適化する決定的集合関数として定式化する。
• 計算が困難な変分目的関数を緩和し、ややいなごうな条件下でブロックごとに凹関数となるようにし、効率的な最適化を可能にする。
• パーティションレベルのパラメータが条件付き独立であり、学習された関数Fを介して一括パラメータに決定的にマッピングされる統合モデルを用いる。
• 共分散行列の制約やクラスタ割り当ての制約を保つような、非線形で構造的な集合関数をサポートする。
• 通信を最小限に抑えながら、各パーティションで並列にサンプリング可能な、サンプルごとの集合処理を可能にする。
• 最適化ステップでは、小さなバッチのサンプルを用いた確率的勾配法を用い、分散および非同期実行と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 コンセンサスモンテカルロにおける集合関数を最適化することで、真の事後分布のより良い近似が得られるか？
• RQ2 変分ベイズを用いて、パラメータ制約（例：正定値性）を尊重する構造的集合関数を学習できるか？
• RQ3 集合関数の最適化において、近似精度と計算コストのトレードオフはどのようになるか？
• RQ4 VCMCは、コンセンサスモンテカルロおよびシリアルMCMCに比べて、事後分布推定誤差とスループットの点でどのように差がつくか？
• RQ5 VCMCは、大規模かつ高次元のモデルにおいて、ほぼ理想の線形スループットを達成しながら、高い事後分布精度を維持できるか？

主な発見

• 300次元のプロビット回帰におけるパラメータ期待値推定において、VCMCはコンセンサスモンテカルロに比べて相対誤差を最大39％まで低減した。
• 8次元の8成分のガウス混合モデルにおいて、VCMCはコンセンサスモンテカルロに比べて誤差を92％まで低減した。
• プロビット回帰のケースでは、VCMCは最適化に1500秒未満でほぼ収束した誤差水準に達し、1000有効サンプルを得るためのシリアルMCMC（6000秒以上）に比べて最適化コストは限定的であった。
• ガウス混合モデルのケースでは、K ≤ 25のパーティション数に対して、理想のKに近いスループットを達成し、K = 50および100では約K/2のスループットを得ており、優れたスケーラビリティを示した。
• VCMCの最適化コストは小さく、とくにMCMCサンプリングが高コストな場合に、非効率な並列処理の文脈で線形スループットを維持できる。
• 構造的設定において、VCMCは一様平均化およびガウス平均化を上回り、学習された適応的集合関数の優位性を示した。