[論文レビュー] Variational Inference as an alternative to MCMC for parameter estimation and model selection

Anirudh Jain, P. K. Srijith+1 more|arXiv (Cornell University)|Mar 17, 2018

Gamma-ray bursts and supernovae参考文献 61被引用数 3

ひとこと要約

本稿では、天文学におけるベイズ的パラメータ推定およびモデル選択のためのマルコフ連鎖モンテカルロ法（MCMC）の高速代替手法として、変分ベイズ推論（Variational Inference, VI）を提案する。真の事後分布からの近似を、既知の分布族を用いてKullback-Leibler（KL）ダイバージェンスを最小化する最適化問題に再定式化することで、4つの天文学的問題に対して、正確さを損なわず、顕著な高速化を達成した。

ABSTRACT

Most applications of Bayesian Inference for parameter estimation and model selection in astrophysics involve the use of Markov Chain Monte Carlo (MCMC) techniques. In this work, we introduce Variational Inference as an alternative to solve these problems, and compare how the results hold up to MCMC methods. Variational Inference converts the inference problem into an optimization problem by approximating the posterior from a known family of distributions and using Kullback-Leibler divergence to measure closeness. Variational Inference takes advantage of fast optimization techniques, which make it ideal to deal with large datasets and also makes it trivial to parallelize. As a proof of principle, we apply Variational Inference to four different problems in astrophysics, where MCMC techniques were previously used. These include measuring exoplanet orbital parameters from radial velocity data, tests of periodicities in measurements of Newton's constant G, assessing the significance of a turnover in the spectral lag data of GRB 160625B , and estimating the mass of a galaxy cluster using weak gravitational lensing. We find that Variational Inference is much faster than MCMC for these problems.

研究の動機と目的

• 天文学におけるベイズ推論のスケーラブルな代替手法として、変分ベイズ推論（VI）を評価すること。
• 大規模データセットを扱う際のMCMCの計算的制限を克服すること。
• MCMCで既に解決済みの多様な天文学的問題において、VIの実現可能性と正確さを示すこと。
• 実世界の天文学的応用において、VIとMCMCの推論性能および収束速度を比較すること。

提案手法

• 真の事後分布と近似事後分布の間のKullback-Leibler（KL）ダイバージェンスを最小化することで、ベイズ的事後分布推論を最適化問題に再定式化する。
• 既知の分布族を用いて真の事後分布を近似することで、計算を効率化する。
• 高速な最適化手法を活用し、特に大規模データセットに対して収束を加速する。
• 自動微分とスケーラブルな最適化アルゴリズムを用いて、計算リソース全体にわたる並列化を可能にする。
• 4つの異なる天文学的推論問題に変分フレームワークを適用する：径速度による系外惑星検出、G測定値における周期性の検定、GRB 160625Bにおけるスペクトル遅れ解析、弱引力レンズによる質量推定。
• 正確性と一貫性を保証するため、結果を確立されたMCMCベンチマークと照合して検証する。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズ推論（VI）は、天文学的パラメータ推定問題において、MCMCと同等の正確なパラメータ推定を達成できるか？
• RQ2 多様な天文学的データセットにおいて、VIの計算的効率はMCMCと比べてどの程度か？
• RQ3 周期性の検出やスペクトル折り返しの検出といったモデル選択タスクにおいて、VIは信頼性を維持できるか？
• RQ4 複雑なモデルにおいて、大規模データセットに効果的にスケーリングできるか？
• RQ5 実際の天文学的応用においてMCMCをVIに置き換える際の、速度と正確さのトレードオフは何か？

主な発見

• テストされた4つの天文学的問題すべてにおいて、変分ベイズ推論（VI）はMCMCよりも顕著に高速な収束を達成した。
• VIが生成する近似事後分布は、MCMCの結果と一貫しており、パラメータ推定の高精度を示している。
• VIは強力なスケーラビリティを示し、MCMCが計算的に非現実的になるような大規模データセットに対しても適している。
• 最適化に基づくフレームワークのおかげで、並列化が容易であり、計算効率が向上する。
• すべてのテストケース（系外惑星の軌道パラメータ、ニュートン定数の周期性、GRBスペクトル遅れの折り返し、銀河団質量）において、VIはMCMCと同等の結果を、わずかの時間で達成した。
• 近似にKullback-Leibler（KL）ダイバージェンスを用いることで、安定的かつ取り扱いやすい最適化目的関数が得られ、信頼性の高い推論が保証された。