[論文レビュー] Calibrating Model-Based Inferences and Decisions

Michael Betancourt|arXiv (Cornell University)|Mar 22, 2018

Markov Chains and Monte Carlo Methods参考文献 1被引用数 22

ひとこと要約

本稿では、頻度論的およびベイジアン手法を用いて、モデルに基づく統計的推論と意思決定をキャリブレーションするための形式的枠組みを提示する。感度分析と損失に基づくキャリブレーションに重点を置き、複雑な実験における不確実性と意思決定の信頼性を体系的かつ一貫して評価する方法を示す。応用例として、発見的主張や限界設定の分野に適用可能である。

ABSTRACT

As the frontiers of applied statistics progress through increasingly complex experiments we must exploit increasingly sophisticated inferential models to analyze the observations we make. In order to avoid misleading or outright erroneous inferences we then have to be increasingly diligent in scrutinizing the consequences of those modeling assumptions. Fortunately model-based methods of statistical inference naturally define procedures for quantifying the scope of inferential outcomes and calibrating corresponding decision making processes. In this paper I review the construction and implementation of the particular procedures that arise within frequentist and Bayesian methodologies.

研究の動機と目的

• 高度な実験で使用されるますます複雑化する統計モデルにおける信頼性のある推論を保証するという、増大する課題に対処すること。
• 推論結果がモデルの仮定や測定のばらつきにどの程度敏感であるかを定量化する手続きを形式化すること。
• 不確実性下での意思決定に統計モデルを結びつける実用的なキャリブレーション手法を開発し、とりわけ高リスクの科学的文脈において有効にすること。
• 理論的なモデルに基づく推論と現実の実験設計の間のギャップを埋めるために、計算的に実行可能なキャリブレーション技術を提供すること。
• p値、後部確率、予測スコアの信頼性を厳密に評価することで、強固な発見的主張や限界設定を可能にすること。

提案手法

• データ生成プロセスを測定空間上の確率分布として数学的枠組みで定義し、観測値を真のプロセス $\pi^*$ からの標本としてモデル化する。
• 損失関数を用いて推論の結果の影響を定量化し、頻度論的キャリブレーションではモデル設定空間内におけるすべてのデータ生成プロセスの期待損失に基づく。
• ベイジアンキャリブレーションでは、モデルパラメータとデータの同時分布の下での損失関数の後部期待値を用いる。事前分布による不確実性を組み込む。
• モデルの性能と実用的有意性の評価のため、予測スコアと実用的同等領域（ROPE）の後部確率を導入する。
• 高次元空間における期待損失および後部分布の数値計算のために、モンテカルロ法およびマルコフ連鎖モンテカルロ法を用いる。
• 期待損失の実験設計パラメータに関する勾配を推定するために自動微分を用い、実験設定の最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な実験における異なるモデル設定において、推論結果を不確実性を反映させるように体系的にキャリブレーションする方法は何か？
• RQ2 感度と意思決定の信頼性という観点から、頻度論的およびベイジアン手法のモデルキャリブレーションにおける主な違いとトレードオフは何か？
• RQ3 解析的解が得られない場合、とりわけ高次元モデルにおいて、キャリブレーション手順を実装するにはどうすればよいか？
• RQ4 損失関数と予測スコアは、発見的主張や限界設定手順の信頼性評価において、果たす役割は何か？
• RQ5 MCMC や自動微分のような計算手法を活用して、キャリブレーションされた性能指標に基づき実験設計を最適化できるか？

主な発見

• 頻度論的キャリブレーションでは、モデル設定空間内におけるすべてのデータ生成プロセスの期待損失を評価する必要があるが、これはモデル設定空間に関する簡略化仮定がなければ解析的に扱いにくい。
• ベイジアンキャリブレーションでは、損失関数の後部期待値を計算する必要があるが、これはしばしば数値近似に適しているものの、複雑なモデルでは依然として計算コストが非常に高い。
• ベイジアン限界設定における後部分位数の使用は、余分なパラメータの不確実性を自然に組み込み、現象論的パラメータの信頼性のある境界を提供する。
• 予測スコアとROPE確率は、発見的文脈における実用的有意性とモデル性能の評価において、p値の実用的代替手段を提供する。
• モンテカルロ法により、まれな事象の閾値（例：$\mathcal{O}(10^{-7})$）のキャリブレーションが可能であるが、収束が遅いため、極めて高い有意水準では精度が制限される。
• 期待損失を実験設計パラメータに関して自動微分することで、実験設定の最適化に向けた有望な道筋が得られるが、実装は依然として困難である。