[論文レビュー] Embarrassingly Parallel Variational Inference in Nonconjugate Models

Willie Neiswanger, Chong Wang+1 more|arXiv (Cornell University)|Oct 14, 2015

Machine Learning and Algorithms参考文献 22被引用数 9

ひとこと要約

本稿では、非共役ベイジアンモデルにおける非共役性を考慮した、通信不要な分散データサブセット上で独立して推論が可能な、ありふれた並列化変分インファレンス（EPVI）手法を提案する。部分事後分布密度の積と非パラメトリック変分インファレンスを活用することで、ロジスティック回帰や非線形行列分解といった非共役モデルにおいて、最大10倍の高速化を達成しながらも、正確な事後分布近似を維持する。

ABSTRACT

We develop a parallel variational inference (VI) procedure for use in data-distributed settings, where each machine only has access to a subset of data and runs VI independently, without communicating with other machines. This type of "embarrassingly parallel" procedure has recently been developed for MCMC inference algorithms; however, in many cases it is not possible to directly extend this procedure to VI methods without requiring certain restrictive exponential family conditions on the form of the model. Furthermore, most existing (nonparallel) VI methods are restricted to use on conditionally conjugate models, which limits their applicability. To combat these issues, we make use of the recently proposed nonparametric VI to facilitate an embarrassingly parallel VI procedure that can be applied to a wider scope of models, including to nonconjugate models. We derive our embarrassingly parallel VI algorithm, analyze our method theoretically, and demonstrate our method empirically on a few nonconjugate models.

研究の動機と目的

• 分散データ環境下における非共役モデル向けに、スケーラブルで通信量が少ない変分インファレンス手法の不足を解消すること。
• 従来の並列VI手法が条件付き共役性や指数型分布族の仮定を必要とすることの制限を克服すること。
• 計算中にマシン間通信を排除することで、安全で分散型のインファレンスを可能にすること。
• 指数型分布族に限らない一般ベイジアンモデルへまで、ありふれた並列インファレンスの適用範囲を拡張すること。
• 大規模かつ分散環境下で収束時間を著しく短縮しつつ、事後分布近似の正確性を維持する手法の開発

提案手法

• 最近の並列MCMC研究にインspiredされた、部分事後分布密度の積に基づく事後分布分解戦略を採用する。
• この分解を、条件付き共役性や指数型分布族の仮定を必要としない非パラメトリック変分インファレンス（NVI）に適用する。
• 連合対数尤度関数の弱微分可能性条件を満たすことで、通信なしに各データパーティション上で独立して変分インファレンスを実行する。
• 局所的な変分近似を、部分事後分布密度の積混合により組み合わせ、全データ事後分布を近似する。
• 正確な計算が困難な場合に効率的に積混合を近似する2つのサンプリングベースの手続き——EPVI_sampleとEPVI_subset——を導入する。
• 最終集約段階で逐次的サンプリングを用いることで、計算コストを削減しつつ近似品質を保持する。

実験結果

リサーチクエスチョン

• RQ1 条件付き共役性や指数型分布族の仮定を必要とせず、非共役モデルにありふれた並列変分インファレンスを拡張できるか？
• RQ2 非パラメトリックVIを用いて結合された部分事後分布密度の積が、非共役モデルにおいて全データ事後分布をどの程度正確に近似できるか？
• RQ3 通信不要な分散型変分インファレンス環境下で、計算効率と事後分布近似の正確性のトレードオフはどのようなものか？
• RQ4 積混合の近似に用いる異なるサンプリング戦略（EPVI_sample 対 EPVI_subset）は、速度と正確性の観点でどのように比較できるか？
• RQ5 データパーティション数（M）と混合成分数（K）を増加させた場合、性能を維持したままどの程度スケーリングできるか？

主な発見

• EPVI_sampleは、ロジスティック回帰や非線形行列分解を含む複数の非共役モデルにおいて、標準的なNVIと比較して収束時間をほぼ10倍短縮した。
• ベースラインのNVIとほぼ同一のホールドアウト負の対数尤度値を維持しており、通信を大幅に削減しても事後分布近似の正確性が著しく損なわれていないことが示された。
• M > 6 および K > 4 の場合、正確な積混合評価の計算時間は著しく増加するが、EPVI_sampleとEPVI_subsetは依然として効率的かつ正確であった。
• EPVI_sampleは、テスト尤度と計算時間の両面でEPVI_subsetを上回っており、積混合近似におけるより優れたサンプリング効率を示している。
• データ分割数（M）と混合成分数（K）の増加に対しても、本手法は効果的にスケーリングでき、予測性能の劣化を伴わずに一貫した高速化を達成した。
• 合成データおよび実世界データを用いた実験結果から、本手法は通信を最小限に抑えつつ高速なインファレンスを実現しており、プライバシーに配慮した分散環境に適していることが示された。