[論文レビュー] Simulation-Based Calibration Checking for Bayesian Computation: The Choice of Test Quantities Shapes Sensitivity

Martin Modrák, Angie H. Moon+6 more|arXiv (Cornell University)|Nov 4, 2022

Statistical Methods and Bayesian Inference被引用数 12

ひとこと要約

本稿は、尤度関数に依存する検定統計量を組み込むことで、ベイズ推論における計算誤差に対する感度を向上させる新しいシミュレーションベースのキャリブレーション（SBC）手法を提案する。特に、データとパラメータの同時尤度を用いることで、従来検出できなかった問題（例えば、事後分布と事前分布が等しい状態）を検出可能にし、柔軟な検定統計量を用いるSBCの再定義により、検証力が著しく向上する。理論的裏付けと実装の両方を提供し、SBC Rパッケージに統合されている。

ABSTRACT

Simulation-based calibration checking (SBC) is a practical method to validate computationally-derived posterior distributions or their approximations. In this paper, we introduce a new variant of SBC to alleviate several known problems. Our variant allows the user to in principle detect any possible issue with the posterior, while previously reported implementations could never detect large classes of problems including when the posterior is equal to the prior. This is made possible by including additional data-dependent test quantities when running SBC. We argue and demonstrate that the joint likelihood of the data is an especially useful test quantity. Some other types of test quantities and their theoretical and practical benefits are also investigated. We provide theoretical analysis of SBC, thereby providing a more complete understanding of the underlying statistical mechanisms. We also bring attention to a relatively common mistake in the literature and clarify the difference between SBC and checks based on the data-averaged posterior. We support our recommendations with numerical case studies on a multivariate normal example and a case study in implementing an ordered simplex data type for use with Hamiltonian Monte Carlo. The SBC variant introduced in this paper is implemented in the $\mathtt{SBC}$ R package.

研究の動機と目的

• 標準SBCが、事後分布が事前分布と等しくなるような重大な計算誤差を検出できないという限界を是正すること。
• 特にデータとパラメータの同時尤度を含む、データ依存の検定統計量を組み込むことで、SBCの感度を向上させること。
• 検定統計量の選択がSBCの性能に与える影響を理解する理論的・厳密な枠組みを提供すること。
• 文献における一般的な誤解を明確にすること、特にSBCとデータ平均化事後分布チェックの区別を明確にすること。
• 数値的ケーススタディとSBC Rパッケージへの統合を通じて、実用的導入を支援すること。

提案手法

• パラメータそのものに加え、追加のデータ依存検定統計量を含むSBCの変種を提案する。
• モデルや計算誤差に対して強い感度を示すため、尤度関数 π_joint(y,θ) を特に有効な検定統計量として使用する。
• 検定統計量がSBCを満たす理論的条件を導出する。これには、分位数関数および累積分布関数に関する制約が含まれる。
• 検定統計量の族とそのSBC感度への影響を分析するフレームワークを導入し、確率的順序と関数的制約を用いる。
• 多変量正規分布モデルとハミルトニアンモンテカルロ（HMC）実装を用いた数値的ケーススタディにより、手法の有効性を検証する。
• SBC Rパッケージに新しいSBC変種を実装し、ベイズ計算検証における実用的利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 検定統計量の選択が、ベイズ推論における計算誤差に対するSBCの感度にどのように影響するか？
• RQ2 SBCは、事後分布が事前分布と同一である状況（従来のSBCでは検出できなかった失敗モード）を検出できるか？
• RQ3 異なるモデル構造において、有効なSBC性能を保証するための検定統計量が満たすべき理論的条件は何か？
• RQ4 他の検定統計量と比較して、データとパラメータの同時尤度は、誤り検出力においてどのように優れるか？
• RQ5 実世界のベイズ計算において、データ依存の検定統計量をSBCに用いることの実用的意義は何か？

主な発見

• 提案されたSBC変種は、事後分布が事前分布と等しい場合を含め、あらゆる計算誤差を検出可能であり、これは従来のSBCでは検出できなかった。
• 同時尤度を検定統計量として使用することで、すべてのデータ値において事後分布に強い制約を課すため、感度が著しく向上する。
• 理論的分析により、検定統計量の選択がSBCの逸脱検出能力を根本的に左右することが示され、一部の選択肢は事後分布族に厳密な関数的制約をもたらす。
• 離散的パラメータ空間では、パラメータそのものを検定統計量とするSBCは、解空間が極めて制約され、多くの場合、事後分布が真の事後分布または事前分布と一致するよう強制される。
• 数値的ケーススタディにより、新しい手法が標準SBCが見逃す誤り（特にHMC用の順序付き単体実装のような複雑なモデル）を検出できることを確認した。
• SBC Rパッケージへの実装により、研究者が実際の後方分布近似の検証に容易にこの強化されたSBC手法を適用できるようになった。