[論文レビュー] Exploiting the Statistics of Learning and Inference

Max Welling|arXiv (Cornell University)|Feb 26, 2014

Gaussian Processes and Bayesian Inference参考文献 20被引用数 5

ひとこと要約

本稿では、確率的サブサンプリングと不確実性を考慮した更新を用いて統計的再冗長性を活用することで、大規模データおよび複雑なシミュレーションにおける計算効率の良いベイズ推論および学習手法を提案する。ガウス過程の代理モデルを導入し、シミュレーションデータを再利用することで、繰り返し高価なシミュレーションを回避しつつ、適応的ミニバッチとモデル適合の仮説検定を用いてMCMCの妥当性を維持する。

ABSTRACT

When dealing with datasets containing a billion instances or with simulations that require a supercomputer to execute, computational resources become part of the equation. We can improve the efficiency of learning and inference by exploiting their inherent statistical nature. We propose algorithms that exploit the redundancy of data relative to a model by subsampling data-cases for every update and reasoning about the uncertainty created in this process. In the context of learning we propose to test for the probability that a stochastically estimated gradient points more than 180 degrees in the wrong direction. In the context of MCMC sampling we use stochastic gradients to improve the efficiency of MCMC updates, and hypothesis tests based on adaptive mini-batches to decide whether to accept or reject a proposed parameter update. Finally, we argue that in the context of likelihood free MCMC one needs to store all the information revealed by all simulations, for instance in a Gaussian process. We conclude that Bayesian methods will remain to play a crucial role in the era of big data and big simulations, but only if we overcome a number of computational challenges.

研究の動機と目的

• 1000億スケールのデータセットや長時間実行が必要なシミュレーションにおいて、従来のMCMCやバッチ学習の計算不能性に対処する。
• 標準的な近似ベイズ計算（ABC）の非効率性を克服し、過去のシミュレーションを再利用することで、冗長な計算を回避する。
• 適応的かつ不確実性を考慮したシミュレーション要求を通じて、計算コストを最小限に抑えつつ統計的精度を維持するフレームワークを開発する。
• バッチ手法を確率的かついつでも利用可能なアルゴリズムに置き換えることで、学習におけるリアルタイムかついつでも予測性能を実現する。
• ベイズ手法が大規模データ時代においても実用的であるように、推論の目的に計算効率を統合する。

提案手法

• 固定された計算時間内での最適な予測性能を達成するために、ステップサイズを適応的に減少させる確率的勾配降下法（SGD）を用いる。
• 適応的ミニバッチに基づく仮説検定を提案し、MCMCの提案を受容または拒否する判断を下すことで、完全な尤度評価への依存度を低減する。
• すべてのシミュレーション出力をガウス過程（GP）の代理モデルに格納し、未知の尤度面をモデル化し、モデル予測の不確実性を推定する。
• GPの代理モデルを用いて、十分統計量の全事後分布（不確実性を含む）を計算し、MHの受容意思決定を支援する。
• GP予測の不確実性がしきい値を超えた場合にのみ新しいシミュレーションを起動することで、計算効率を確保する。
• 詳細なバランスの喪失により収束が保証されないものの、ベイズ最適化に類似した戦略を統合し、知的に新しいパrameter値をシミュレーションに選択する。

実験結果

リサーチクエスチョン

• RQ1 1回の評価に数時間かかるような複雑なシミュレータに対して、MCMCサンプリングをどのように効率化できるか？
• RQ2 尤度フリー推論において、統計的正確性を損なわずに過去のシミュレーションを再利用することで、冗長な計算を回避できるか？
• RQ3 大規模データおよび大規模シミュレーションにおいて、MH受容意思決定における計算コストと不確実性の最適なトレードオフは何か？
• RQ4 確率的勾配法は、大規模学習におけるいつでも予測性能を保証するためにどのように適応可能か？
• RQ5 ガウス過程の代理モデルは、MCMCの妥当性を保ちつつ、尤度フリーベイズ推論の効率をどのように向上させられるか？

主な発見

• バッチ手法が長時間にわたり収束を必要とするのに対し、SGDのような確率的勾配法は、固定された計算時間内での最適な予測性能を達成できる。
• 提案されたガウス過程の代理モデル（GPS）手順により、過去のすべてのシミュレーションからの情報を格納・再利用することで、繰り返しのシミュレーションの必要性が低減される。
• GPの代理モデルにおける不確実性の定量化により、不確実性が低いと判断される場合にのみ、適応的なシミュレーション要求が可能となり、MH意思決定の信頼性が不足している場合にのみ新しいシミュレーションがトリガーされる。
• 不確実性推定付きの代理尤度を用いることで、MCMCにおける詳細なバランスを維持し、漸近的な正しさを保証する。
• 知的に過去のデータを再利用し、冗長な評価を最小限に抑えることで、計算が高価なシミュレーションでも正しい事後分布への収束が可能になる。
• フレームワークはいつでも学習をサポートしており、計算時間の経過に応じてモデル性能が継続的に向上するため、予測不能な時間制約がある実世界のシステムにも適している。