[論文レビュー] Solving high-dimensional parameter inference: marginal posterior densities & Moment Networks

N Jeffrey, B. D. Wandelt|arXiv (Cornell University)|Dec 6, 2020

Galaxies: Formation, Evolution, Phenomena参考文献 28被引用数 18

ひとこと要約

この論文では、マージナルフローとモーメントネットワーク（後方モーメントを回帰するニューラルネットワーク）を用いて、直接的に低次元の周辺事後密度を推定することで、高次元パrameter推定のための新規アプローチを提案する。この手法は、全事後分布の推定を回避することで、重力波解析や宇宙論的フィールド推定といった高次元問題において、高速かつ高精度な不確実性評価を可能にする。MCMCベンチマークと同等の結果が、サンプル数を100万分の1程度にまで削減して得られた。

ABSTRACT

High-dimensional probability density estimation for inference suffers from the "curse of dimensionality". For many physical inference problems, the full posterior distribution is unwieldy and seldom used in practice. Instead, we propose direct estimation of lower-dimensional marginal distributions, bypassing high-dimensional density estimation or high-dimensional Markov chain Monte Carlo (MCMC) sampling. By evaluating the two-dimensional marginal posteriors we can unveil the full-dimensional parameter covariance structure. We additionally propose constructing a simple hierarchy of fast neural regression models, called Moment Networks, that compute increasing moments of any desired lower-dimensional marginal posterior density; these reproduce exact results from analytic posteriors and those obtained from Masked Autoregressive Flows. We demonstrate marginal posterior density estimation using high-dimensional LIGO-like gravitational wave time series and describe applications for problems of fundamental cosmology.

研究の動機と目的

• 高次元事後分布推定における次元の呪いを克服するため、全結合密度ではなく低次元周辺事後分布に焦点を当てる。
• 尤度フリー推定における高次元MCMCサンプリングや全密度推定の代替として、スケーラブルで効率的な手法を開発する。
• 重力波パラメータ推定や宇宙論的フィールド推定といった複雑な物理的推定問題において、高精度な不確実性評価を可能にする。
• 明示的な密度推定を必要とせず、事後分布のモーメント（平均、分散、共分散）を直接推定するフレームワークを提供する。
• 合成高次元モデルおよび実世界のLIGOに類似した重力波時系列データを用いて手法を検証し、精度と速度の両面で有効性を示す。

提案手法

• マージナルフローは、正規化フロー（特にMAF）を用いて、全事後分布サンプルから得たパラメータペアに基づき、2次元周辺事後分布 p(α, β|x) を直接推定する。
• 訓練データは事前分布から抽出されたパラメータ集合から構成され、データ圧縮を伴わずに周辺事後分布が正しく推定される。
• モーメントネットワークは、L2損失を最小化するように訓練される階層的ニューラルネットワークであり、目的関数 J0 および J1 を用いて、平均、分散、共分散を推定する。
• 十分な事前分布からのサンプリングが行われる限り、この手法は正確であり、マルチモーダルな事後分布においてもモード崩壊を起こさない。
• シミュレーションから直接モーメントを学習することで、高次元密度推定やMCMCサンプリングを回避する。
• 合成高次元モデルおよびMCMCによる参照事後分布が既知のLIGOに類似した重力波時系列データを用いて、手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 高次元推定問題において、全事後密度推定を伴わずに、周辺事後密度を高精度に推定できるか？
• RQ2 シミュレーションデータで訓練されたニューラルネットワークが、高精度かつ高速に事後モーメント（平均、分散、共分散）を直接推定できるか？
• RQ3 マージナルフローとモーメントネットワークの性能は、高次元パrameter空間においてMCMCに比べてどうか？
• RQ4 このアプローチは、重力波パラメータ推定といった実世界の天体物理学的問題に適用可能か？
• RQ5 複雑で高次元的なフィールドを伴う宇宙論的推定に応用した場合、この手法は依然として頑健で正確か？

主な発見

• マージナルフロー手法は、10^7 個のMCMCサンプルに相当する高精度な2次元周辺事後分布を、たった8×10^4回のシミュレーションで回復できた。
• モーメントネットワークは、1回の評価あたり0.01秒未満で、事後分布の平均、分散、共分散を高精度に推定でき、MCMCや全密度推定をはるかに凌駆した。
• 100次元の合成モデルにおいて、マージナルフローとモーメントネットワークの両方がMCMCベンチマークと一貫した結果を示し、手法の有効性を検証した。
• 重力波推定において、訓練済みのモーメントネットワークは128個の時系列パラメータにおける周辺事後標準偏差を正確に予測し、長時間のMCMC連鎖と一致した。
• 全事後分布サンプリングが計算的に不可能な場合でも、この手法はBORGサンプラーに類する高次元宇宙論的フィールドにおける効率的推定を可能にした。
• マージナルフローとモーメントネットワークの間で交差検証を行うことで、訓練データ不足やネットワークの複雑さに起因する不整合を検出する頑健な診断手法が得られた。