[論文レビュー] Big Data vs. complex physical models: a scalable inference algorithm

Johannes Büchner|arXiv (Cornell University)|Jul 14, 2017

Computational Physics and Python Applications参考文献 8被引用数 2

ひとこと要約

この論文では、データセット数に伴い物理的モデルの評価回数を線形より低い割合で削減するスケーラブルな推論アルゴリズム「コラボラティブネストドサブスティング」を紹介する。同アルゴリズムは、均一な誤差、ガウス分布、モデル形式の仮定を一切行わず、大規模データセットにおける効率的なパrameter推定と不確実性の定量化を可能にする。Big Data環境下での複雑で評価が遅いモデルに対するベイズ推論を高速化する。

ABSTRACT

The data torrent unleashed by current and upcoming instruments requires scalable analysis methods. Machine Learning approaches scale well. However, separating the instrument measurement from the physical effects of interest, dealing with variable errors, and deriving parameter uncertainties is usually an afterthought. Classic forward-folding analyses with Markov Chain Monte Carlo or Nested Sampling enable parameter estimation and model comparison, even for complex and slow-to-evaluate physical models. However, these approaches require independent runs for each data set, implying an unfeasible number of model evaluations in the Big Data regime. Here we present a new algorithm, collaborative nested sampling, for deriving parameter probability distributions for each observation. Importantly, in our method the number of physical model evaluations scales sub-linearly with the number of data sets, and we make no assumptions about homogeneous errors, Gaussianity, the form of the model or heterogeneity/completeness of the observations. Collaborative nested sampling has immediate application in speeding up analyses of large surveys, integral-field-unit observations, and Monte Carlo simulations.

研究の動機と目的

• 各データセットに対して独立したモデル評価を要するBig Data環境下で、従来のマルコフ連鎖モンテカルロ法やネストドサブスティングの計算不能性に対処する。
• 異種の誤差、非ガウス分布、変動する誤差を持つ複雑な物理モデルに対して、スケーラブルなパrameter推定とモデル比較を可能にする。
• データセット数に伴いモデル評価回数を線形からサブ線形に削減し、統計的厳密性を保持する。
• 簡略化されたモデルや誤差仮定を必要とせず、大規模天文学的調査、インテグラルフィールドユニット観測データ、モンテカルロシミュレーションの解析を可能にする。

提案手法

• 複数のデータセットに跨るモデル評価を再利用することで、ネストドサブスティングを複数データセットで協調的に動作させる。
• 各データセットごとに個別に尤度を評価しつつ、尤度のしきい値設定とライブポイントの更新をアンサンブル全体で共有する。
• モデル評価を複数データセットで再利用できる共有された事前分布と尤度評価フレームワークを採用し、重複計算を削減する。
• 同種化を要しない非i.i.d.誤差モデルや異種のデータ完全性を、尤度関数に直接統合する。
• 各データセットごとの尤度計算に非ガウス的かつ不均一分散の誤差構造を埋め込み、任意の誤差構造を扱える。
• 精度やスケーラビリティを損なわず、完全な後方分布推定とモデル比較能力（例：ベイズ的証拠を用いた）を維持する。

実験結果

リサーチクエスチョン

• RQ1 複雑な物理的モデルのベイズ推論を、計算コストが著しく高くなる大規模データセットに対してもスケーラブルに実現できるか？
• RQ2 複数のデータセットに跨るモデル評価をどのように再利用することで、総合的な計算負荷を低減しつつ統計的正確性を維持できるか？
• RQ3 同種化仮定なしに、非ガウス的・不均一分散的・不完全な観測データをどの程度正確に扱えるか？
• RQ4 コラボラティブネストドサブスティングは、大量データ環境下でも信頼性の高いパrameter不確実性推定とモデル比較指標を維持できるか？
• RQ5 現実的な観測条件下において、モデル評価回数がデータセット数に対してどのようにスケーリングするか？

主な発見

• 物理的モデル評価回数がデータセット数に対してサブ線形にスケーリングされ、Big Data環境下での計算コストが顕著に削減される。
• 同種誤差やガウス尤度の仮定なしに、完全なベイズ推論（パrameter不確実性とモデル比較含む）を可能にする。
• 異種のデータ完全性と変動する誤差構造を持つ環境下でも、複雑で評価が遅い物理モデルを扱える。
• 独立した実行と比較して、必要なモデル評価回数を著しく削減しながらも、統計的厳密性と後方分布の正確性を維持する。
• コラボラティブネストドサブスティングは、大規模天文学的調査、インテグラルフィールドユニット観測、モンテカルロシミュレーションに直接適用可能である。
• 代替モデルや尤度近似を必要とせず、元の物理モデルへの忠実度を保持する。