[論文レビュー] Detecting and diagnosing prior and likelihood sensitivity with power-scaling

Noa Kallioinen, Topi Paananen+2 more|arXiv (Cornell University)|Jul 29, 2021

Statistical Methods and Bayesian Inference参考文献 39被引用数 10

ひとこと要約

この論文は、事前分布と尤度関数のパワー・スケーリングを用いた計算的に効率的な感度分析手法を導入し、PSISを用いた重要度サンプリングにより、迅速に事前分布とデータの不一致や尤度の非情報性を検出可能にする。このアプローチは、既存のMCMCワークフローにスムーズに統合可能で、Rパッケージ priorsense に実装されており、最小限のコード変更で自動診断が可能である。

ABSTRACT

Determining the sensitivity of the posterior to perturbations of the prior and likelihood is an important part of the Bayesian workflow. We introduce a practical and computationally efficient sensitivity analysis approach using importance sampling to estimate properties of posteriors resulting from power-scaling the prior or likelihood. On this basis, we suggest a diagnostic that can indicate the presence of prior-data conflict or likelihood noninformativity and discuss limitations to this power-scaling approach. The approach can be easily included in Bayesian workflows with minimal effort by the model builder and we present an implementation in our new R package priorsense. We further demonstrate the workflow on case studies of real data using models varying in complexity from simple linear models to Gaussian process models.

研究の動機と目的

• 既存のワークフローへの最小限の変更で済む、計算的に効率的なベイジアンモデルの感度分析手法の開発。
• 事前分布と尤度関数のパワー・スケーリングを用いて、事前分布とデータの不一致および尤度の非情報性を検出すること。
• PSISに基づく重要度サンプリングを用いた自動診断を提供し、信頼性を自己報告する。
• Stan、PyMC、およびbrms や rstanarm などの高レベルインターフェースを含む確率的プログラミングツールへの統合により、広範な採用を促進すること。
• 繰り返しモデル再適合を必要とせずに、誤って誤って指定された事前分布をモデルビルダーが特定できるように支援すること。

提案手法

• 指数 α > 0 を用いて事前分布または尤度関数をパワー・スケーリングし、摂動させた事後分布を生成する。
• パレート平滑化重要度サンプリング（PSIS）を用いて、再適合を必要とせずに既存のMCMCサンプルから事後分布の性質を推定する。
• ベース事後分布と摂動させた事後分布の累積ジェンセン・シャノン距離の α に関する微分を感度診断として計算する。
• 診断を用いて、事前分布感度（例：事前分布とデータの不一致）および尤度感度（例：非情報性）を検出する。
• Stan、PyMC、brms、rstanarm、bambi ワークフローへの統合を実現するため、Rパッケージ priorsense にこの手法を実装する。
• 感度推定の不確実性を評価するためにモンテカルロ標準誤差を用いる。

実験結果

リサーチクエスチョン

• RQ1 MCMCベースのベイジアンワークフローにおいて、どのようにして事前分布および尤度の感度を効率的に検出できるか？
• RQ2 パワー・スケーリングとPSISを組み合わせることで、事前分布とデータの不一致および尤度の非情報性に対する信頼性があり自動化された診断が可能になるか？
• RQ3 完全なモデル再適合と比較して、提案手法はどの程度計算コストを削減できるか？
• RQ4 本手法は、複雑なガウス過程モデルを含む実世界のモデルにおいて、予期しない感度パターンをどの程度うまく検出できるか？
• RQ5 誤って誤って指定されたあるいはあまりに影響力が強いと予想される事前分布を、診断が信頼性を持って特定できるか？

主な発見

• パワー・スケーリングによって引き起こされる事後分布の変化を通じて、事前分布とデータの不一致および尤度の非情報性を検出可能であり、実用的解釈のための感度閾値は 0.05 に設定されている。
• 新型コロナウイルス感染症の事例研究において、ドイツ、イタリア、英国では、特に κ 事前分布に対して、事後予測における感度が 0.05 を超えており、モデルの不安定性を示唆している。
• 高い計算効率が達成されており、既存のMCMCサンプルを用いて数秒で感度診断を推定でき、高価なモデル再適合を回避できた。
• PSISに基づく重要度サンプリングは信頼性の高い推定を提供し、推定が信頼できない場合に自己診断の警告を発することで、耐障害性が向上した。
• 本手法は、ガウス過程モデルにおける τ の事前分布が非常に感度に依存していることを明確に特定し、より注意深く指定する必要があることを示唆した。
• 最小限のコード変更で既存のベイジアンモデリングパイプラインにスムーズに統合可能であり、すぐに利用可能な priorsense Rパッケージとして提供されている。