[論文レビュー] Validating Bayesian Inference Algorithms with Simulation-Based Calibration

Sean Talts, Michael Betancourt+3 more|arXiv (Cornell University)|Apr 18, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用数 220

ひとこと要約

この論文は Simulation-Based Calibration (SBC) を導入し、ベイズ推論アルゴリズムを検証するために priors と posteriors の順位統計量が一様に分布するかを検証することで、誤指定やアルゴリズムの失敗を検出するのに役立つ。

ABSTRACT

Verifying the correctness of Bayesian computation is challenging. This is especially true for complex models that are common in practice, as these require sophisticated model implementations and algorithms. In this paper we introduce \emph{simulation-based calibration} (SBC), a general procedure for validating inferences from Bayesian algorithms capable of generating posterior samples. This procedure not only identifies inaccurate computation and inconsistencies in model implementations but also provides graphical summaries that can indicate the nature of the problems that arise. We argue that SBC is a critical part of a robust Bayesian workflow, as well as being a useful tool for those developing computational algorithms and statistical software.

研究の動機と目的

• ベイズ計算の検証が単一の実行結果を超えて必要であることを動機づける。
• SBC を、事後サンプルを生成する任意のサンプラーに対する一般的でデータ非依存の検証ツールとして提案する。
• SBC がベイズの結合分布を活用して実装上の誤りや計算上のエラーを検出する方法を説明する。
• SBC の出力の解釈と、堅牢なベイズワークフローへの SBC の組み込みに関する指針を提供する。

提案手法

• 事前分布からのサンプリングとモデルからのデータによって、ベイズ結合分布と自己整合性の真理値を定義する。
• 事後サンプルに対するパラメータの1次元関数の順位統計量を用いて、正しく計算されていれば一様になると期待されるヒストグラムを形成する（定理1）。
• 複製されたシミュレートデータセット全体の順位統計量の SBC ヒストグラムを生成するアルゴリズム1を開発する。
• 事後サンプルの自己相関に対処するため、間引きと有効サンプルサイズの調整（アルゴリズム2）を用いる。
• SBCのヒストグラムの偏差が事後計算の過分散/不足分散と偏りにどのように対応するかを視覚的診断として説明する。
• 小さな偏差に対する拡張や、ECDF、ビニング戦略などの代替的な視覚化について論じる。

実験結果

リサーチクエスチョン

• RQ1 SBC はベイズ分析が間違って指定されている、または実装ミスがある場合を検知できるか。
• RQ2 SBC のヒストグラムの偏差は、誤指定された事前分布、偏った MCMC、近似推論法などの特定の校正の失敗とどう関連するか。
• RQ3 SBC を MCMC 由来の相関のある事後サンプルや小さな偏差に現実的に適用するにはどうするか。
• RQ4 堅牢なベイズワークフローにおける SBC の役割は、事後予測チェックと共にどう位置づけられるか。
• RQ5 異なる推論技術（例：HMC、ADVI、INLA）は、代表的モデルに対して SBC の下でどのように機能するか。

主な発見

• SBC は、データを生成するために用いたのと異なる事前分布を使用するなどの誤指定を明らかにし、非一様な順位ヒストグラムと特徴づけられる。
• SBC は MCMC 手法における事後サンプルの偏りや自己相関を検出し、さまざまな失敗下でヒストグラムの形状（例：キャップ型、カップ型）が現れることを示す。
• ADVI は事後の分散を過小評価または過大評価して失敗する可能性があり、SBC ヒストグラムで識別可能である。
• INLA は空間的な疾病有病率モデルでわずかな偏りを示し、SBC によって検出可能である。
• 間引きと有効サンプルサイズの調整は自己相関の影響を緩和し、多くのケースで SBC の解釈性を回復する。
• SBC はアルゴリズムやモデルの実装上の問題に対して実用的な洞察を提供し、堅牢なベイズワークフローにおける PPC と補完的である。