[論文レビュー] Introducing doubt in Bayesian model comparison

Glenn D. Starkman, Roberto Trotta+1 more|ArXiv.org|Nov 14, 2008

Bayesian Modeling and Causal Inference参考文献 1被引用数 12

ひとこと要約

この論文は、明示的な代替モデルが存在しない状況において、モデルの絶対的妥当性を評価するためのベイジアン指標として「doubt（疑念）」を導入する。これは、データとの適合度とモデルの複雑さに基づいて、モデルの正しさに対する不信の度合いを定量化する。誤った疑念率パラメータをキャリブレーションすることで、最良に適合するモデルが根本的に不適切である可能性を検出でき、宇宙論的観測のような高次元データにおけるモデル発見を可能にする。

ABSTRACT

There are things we know, things we know we don't know, and then there are things we don't know we don't know. In this paper we address the latter two issues in a Bayesian framework, introducing the notion of doubt to quantify the degree of (dis)belief in a model given observational data in the absence of explicit alternative models. We demonstrate how a properly calibrated doubt can lead to model discovery when the true model is unknown.

研究の動機と目的

• 代替モデルが存在しない状況で、最良に適合するモデルが本当に適切かどうかを評価するための絶対的指標が存在しないというベイジアンモデル比較におけるギャップを埋める。
• より良いモデルが存在する可能性を測定することで、データにうまく適合しているモデルであっても、その正しさに対する不信の度合いを定量化する指標を開発する。
• 真のモデルが未知である状況、特に大規模で複雑なデータセットを扱う宇宙論において、モデル発見のためのツールを提供すること。
• 誤った疑念の発生率をキャリブレーションすることで、適合度の欠如や過剰な複雑さによってモデルを却下する際の統計的信頼性を確保すること。
• ベイズファクターやモデル証拠といった既存のベイジアン手法を補完し、相対的比較に依存するのではなく、モデル空間における絶対的指標を導入すること。

提案手法

• 明示的な代替モデルが存在しない状況で、モデルの正しさに対する不信の度合いを定量化する新しいベイジアン指標「doubt」を提案する。
• doubtを、ベイジアン証拠と、誤った疑念の発生率（すなわち、誤って不適切と判断されるモデルの割合）を制御するパラメータαの関数として定義する。
• 真のモデルが未知である場合の参考事前分布を用いて、パラメータαをキャリブレーションし、正しいモデルを誤って疑念の対象とする確率が所定のしきい値以下に保たれることを保証する。
• 真のモデルが既知のモデルに含まれない場合にdoubtが増加することを示すためのトロイモデル（簡易線形モデル）を用いて、理論的修正の必要性を示唆する。
• ベイジアン証拠を用いたモデル空間上の距離概念を導入し、未知のモデルがどれほど既知のモデルと異なっているかを定量化し、doubtが発動する条件を定義する。
• doubtを、ベイジアン証拠やモデルの複雑さといった既存のツールと統合することで、モデルの不適切さと不必要なパラメータ化を区別する。

実験結果

リサーチクエスチョン

• RQ1 明示的な代替モデルが存在しない状況で、モデルの正しさに対する不信の度合いをどのように定量化できるか？
• RQ2 データにうまく適合しているにもかかわらず、最良に適合するモデルが根本的に不適切であることを信頼性を持って示す基準は何か？
• RQ3 誤った疑念の発生率をどのようにキャリブレーションすれば、モデル却下意思決定における統計的信頼性を確保できるか？
• RQ4 真のモデルが未知である状況で、doubtがどのように発見ツールとして機能するか、特に宇宙論的観測のような高次元データにおいて。
• RQ5 doubtは、ベイズファクターやモデル証拠といった既存のベイジアン指標とどのように補完し合うか、モデルの妥当性評価において。

主な発見

• 提案されたdoubt指標は、真のモデルが既知のモデルに含まれない場合に有意に増加し、現在のモデルが不適切であり理論的見直しが必要であることを示唆する。
• 誤った疑念率パラメータαの適切なキャリブレーションにより、正しいモデルを誤って却下する確率が有界に保たれ、統計的信頼性が向上する。
• doubtはモデル空間における絶対的指標を提供し、ベイズファクターの相対的指標を補完する。これにより、明示的な代替モデルが存在しない状況でも、モデルの不適切さを検出可能である。
• トロイ線形モデルの例では、真のモデルが既知のモデルの集合に含まれない場合、doubtが顕著に増加することが示され、モデル発見における有効性が裏付けられる。
• αのキャリブレーションが、既知のモデルの事前分布の体積を、未知のモデルの参考事前分布に対して相対的に考慮するため、doubtは事前分布の体積効果に対して頑健である。
• doubtは不必要なモデルの複雑さを検出しない。これは、証拠とベイジアン複雑さを別個に分析することで処理され、doubtがモデル簡略化ではなく、モデル発見に特化した役割を果たすことを示している。