[論文レビュー] Validation of Approximate Likelihood and Emulator Models for Computationally Intensive Simulations

Niccolò Dalmasso, Ann B. Lee+4 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 68被引用数 4

ひとこと要約

本稿では、計算的に高価なシミュレーションにおける近似尤度およびエミュレーターモデルの検証のための統計的フレームワークを提案する。回帰に基づく二標本検定を用いて分布の乖離を検出し、適合が悪い領域を同定する。この手法はパーミュテーション検定を活用し、検定のパワーを回帰モデルの精度に関連づけ、パrameter空間および特徴空間におけるグローバルな適合度評価とローカル診断を両立可能にする。

ABSTRACT

Complex phenomena in engineering and the sciences are often modeled with computationally intensive feed-forward simulations for which a tractable analytic likelihood does not exist. In these cases, it is sometimes necessary to estimate an approximate likelihood or fit a fast emulator model for efficient statistical inference; such surrogate models include Gaussian synthetic likelihoods and more recently neural density estimators such as autoregressive models and normalizing flows. To date, however, there is no consistent way of quantifying the quality of such a fit. Here we propose a statistical framework that can distinguish any arbitrary misspecified model from the target likelihood, and that in addition can identify with statistical confidence the regions of parameter as well as feature space where the fit is inadequate. Our validation method applies to settings where simulations are extremely costly and generated in batches or "ensembles" at fixed locations in parameter space. At the heart of our approach is a two-sample test that quantifies the quality of the fit at fixed parameter values, and a global test that assesses goodness-of-fit across simulation parameters. While our general framework can incorporate any test statistic or distance metric, we specifically argue for a new two-sample test that can leverage any regression method to attain high power and provide diagnostics in complex data settings.

研究の動機と目的

• 計算的に高価なシミュレーションにおける近似尤度およびエミュレーターモデルの検証に一貫した手法が不足しているという問題に対処すること。
• 真の尤度とは異なるモデルを統計的な自信をもって識別すること。
• エミュレータの適合が不十分であるとされるパrameter空間および特徴空間の特定の領域を同定すること。
• ガウス過程の合成尤度やニューラル密度推定器を含む、さまざまなスラッグモデルに適用可能な一般化されたフレームワークを提供すること。
• 相対的な性能ではなく、「モデルは十分に良いのか？」という絶対的適合度の評価を可能にする適合度検定を提供すること。

提案手法

• 真のシミュレータ分布とエミュレータ分布を比較するための回帰に基づく二標本検定を提案する。
• 二標本検定を、Yがサンプルの出所（シミュレータ対エミュレータ）を示す二値分類問題に再定式化する。
• 検定統計量として $ \widehat{\mathcal{T}} = \frac{1}{n}\sum_{i=1}^{n}(\widehat{m}(\mathbf{X}_i) - \widehat{\pi}_1)^2 $ を使用する。ここで $ \widehat{m} $ は、エミュレータ分布に属する確率を推定する。
• パーミュテーション手順を用いてp値を計算し、パrametricな仮定を必要としない有効な推論を保証する。
• 検定のパワーを回帰推定器の平均統合二乗誤差（MISE）に関連づけ、回帰モデルの適合度が高ければ高いほど高いパワーが得られることを保証する。
• 特徴空間におけるローカル適合度を $ |\widehat{m}(\mathbf{x}) - \widehat{\pi}_1| $ の大きさを観察することで可能にし、ローカル診断を実現する。

実験結果

リサーチクエスチョン

• RQ1 真の尤度が解析的に求められない状況で、計算的に高価なシミュレーションにおいて近似尤度やエミュレーターモデルを一貫して検証できるか？
• RQ2 パrameter空間および特徴空間において、エミュレータとシミュレータの分布の乖離を検出し、局所化できるか？
• RQ3 複雑なデータ設定下でも高いパワーを維持しながら、適合度のグローバルな評価を提供できる統計的検定は何か？
• RQ4 回帰手法の選択が検証検定のパワーと信頼性にどのように影響するか？
• RQ5 相対的な損失指標を超えて、「十分に良いモデル」と「さらなる改善を要するモデル」とを区別できるか？

主な発見

• 提案された回帰に基づく二標本検定は、高次元または複雑な特徴空間であっても、シミュレータ出力とエミュレータ出力の分布的差異を効果的に検出できる。
• 検定のパワーは、使用する回帰モデルのMISEに直接関連しており、回帰性能が高ければ高いほど統計的パワーが高くなる。
• 特徴空間におけるエミュレータの適合不良は、$ |\widehat{m}(\mathbf{x}) - \widehat{\pi}_1| $ の大きさによって特定され、適合が悪い領域が明確に可視化される。
• パーミュテーションに基づくp値は、分布の仮定を必要とせず、推論の堅牢性を高める。
• 本フレームワークは、合成データおよび実世界の宇宙論的データの両方の例においてモデルの検証に成功し、実用的有用性を示した。
• 絶対的適合度の測定を相対的性能の指標（例：KLダイバージェンス）よりも提供する点で、本手法は標準的な損失関数を上回る。