[論文レビュー] Robust Neural Posterior Estimation and Statistical Model Criticism

Daniel L. Ward, Patrick Cannon+3 more|arXiv (Cornell University)|Oct 12, 2022

Neural Networks and Applications被引用数 9

ひとこと要約

本稿では、シミュレータ出力と実データの乖離を明示的にモデル化することで、誤ったモデル仕様下でも頑健な推論と解釈可能なモデル批判を可能にする、ロバストニューラルポストリアル推定（RNPE）を提案する。RNPEは、シミュレータが誤って仕様された場合でも、正確で慎重な事後分布を維持できる点で、標準的なNPEを上回る性能を示しており、制御されたモデル誤差を伴う合成的および実世界の例で検証されている。

ABSTRACT

Computer simulations have proven a valuable tool for understanding complex phenomena across the sciences. However, the utility of simulators for modelling and forecasting purposes is often restricted by low data quality, as well as practical limits to model fidelity. In order to circumvent these difficulties, we argue that modellers must treat simulators as idealistic representations of the true data generating process, and consequently should thoughtfully consider the risk of model misspecification. In this work we revisit neural posterior estimation (NPE), a class of algorithms that enable black-box parameter inference in simulation models, and consider the implication of a simulation-to-reality gap. While recent works have demonstrated reliable performance of these methods, the analyses have been performed using synthetic data generated by the simulator model itself, and have therefore only addressed the well-specified case. In this paper, we find that the presence of misspecification, in contrast, leads to unreliable inference when NPE is used naively. As a remedy we argue that principled scientific inquiry with simulators should incorporate a model criticism component, to facilitate interpretable identification of misspecification and a robust inference component, to fit 'wrong but useful' models. We propose robust neural posterior estimation (RNPE), an extension of NPE to simultaneously achieve both these aims, through explicitly modelling the discrepancies between simulations and the observed data. We assess the approach on a range of artificially misspecified examples, and find RNPE performs well across the tasks, whereas naively using NPE leads to misleading and erratic posteriors.

研究の動機と目的

• 標準的なニューラルポストリアル推定（NPE）が、シミュレータが誤って仕様された場合に信頼性の低い推論を生じるという顕著な限界を是正すること。
• シミュレータベースのモデルにおける、同時に頑健なパrameter推定と解釈可能なモデル批判を可能にする統一フレームワークの構築すること。
• 明示的な誤って仕様された確率推定を用いて、どの要約統計量が最も誤って仕様されているかを特定するための診断ツールの提供。
• モデル批判を推定から分離し、不良な推定が実際にモデルの誤って仕様されたことと混同されるのを回避すること。
• シミュレータが真のデータ生成過程を完全に捉えきれない現実的な状況において、RNPEの実用的有用性を示すこと。

提案手法

• RNPEは、各要約統計量が誤って仕様されている確率を明示的に表現するためのスパイクアンドスラブ誤差モデルを導入することで、NPEを拡張する。
• 観測データをシミュレータ出力の摂動版としてモデル化し、元の「真の」データ分布を推定するためのノイズ除去メカニズムを用いる。
• 階層ベイズモデルを用いて、パrameterの事後分布と各要約統計量の誤って仕様された状態を同時に学習する。
• MCMCを用いて、パrameterと誤って仕様されたインジケータの同時事後分布からサンプリングし、シミュレータが誤っている場合でも頑健な推定を可能にする。
• 診断的解釈が可能になるフレームワークであり、誤って仕様された確率が高い要約統計量は、モデルの不一致の原因として特定される。
• 正規化フローを活用して密度推定を実施し、高次元設定下でも柔軟かつスケーラブルな事後分布近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 観測データがシミュレータのサポートから大きく離れている場合、標準的なニューラルポストリアル推定（NPE）は、モデル誤って仕様下でどのように性能を示すか？
• RQ2 シミュレーションベース推定における、同時に頑健なパrameter推定とモデル批判を可能にする統一フレームワークを開発できるか？
• RQ3 明示的な誤って仕様された確率診断が、どの要約統計量がモデルとデータの不一致の主な原因であるかを特定するのにどの程度有効か？
• RQ4 シミュレータが意図的に誤って仕様された場合、RNPEの事後分布の正確性とカバレッジ性能は、標準NPEと比較してどの程度優れているか？
• RQ5 提案手法は、生物学的または疫学的モデルを含む現実世界のシミュレーションタスクにおいて、モデル誤って仕様を検出・診断できるか？

主な発見

• ガウス例では、観測データがシミュレータのサポートを逸脱していた場合、標準NPEは過信かつ不安定な事後分布を生成したが、RNPEは正確で慎重な事後分布推定を維持した。
• 報告遅延を伴うSIRモデルでは、NPEは誤ったパrameter値に集中した事後分布を推定したが、RNPEは誤って仕様されたことを正しく特定し、より正確な事後分布を生成した。
• 壊死性腫瘍領域を含むCS（がんシミュレーション）モデルでは、RNPEがN Cancer要約統計量が誤って仕様されていることを正しく特定し、組織壊死に関する分野知識と整合した。
• RNPEは全タスクにおいて一貫した性能を示し、真のパrameterに多くの事後確率質量を集中させ、誤って仕様された状況下でNPEよりも優れたカバレッジ特性を示した。
• 本手法は、たとえば2つの要約統計量のうち1つしかよく仕様されない場合のトレードオフを正しく特定し、モデル適合の不確実性を明らかにした。
• スパイクアンドスラブ誤差モデルは解釈可能な診断を提供し、誤って仕様された確率が観測データと最も整合しない統計量を明確に示した。