[論文レビュー] Probabilistic Forecasting and Comparative Model Assessment Based on Markov Chain Monte Carlo Output

Fabian Krüger, Sebastian Lerch+2 more|arXiv (Cornell University)|Aug 24, 2016

Statistical Methods and Inference参考文献 100被引用数 25

ひとこと要約

本稿は、ベイズ推論におけるマルコフ連鎖モンテカルロ（MCMC）出力を用いた確率的予測の整合性フレームワークを構築する。適切なスコアリングルールを活用して予測精度を評価する。連続ランク確率スコア（CRPS）は、最小限の仮定のもとで一貫した近似を保証することが示され、特にモデルのパrametric構造を活用するパラメータの混合手法が優れた性能を示す。

ABSTRACT

In Bayesian inference, predictive distributions are typically available only through a sample generated via Markov chain Monte Carlo (MCMC) or related algorithms. In this paper, we conduct a systematic analysis of how to make and evaluate probabilistic forecasts from such simulation output. Based on proper scoring rules, we develop a notion of consistency that allows to assess the adequacy of methods for estimating the stationary distribution underlying the simulation output. We then review asymptotic results that account for the salient features of Bayesian posterior simulators, and derive conditions under which choices from the literature satisfy our notion of consistency. Importantly, these conditions depend on the scoring rule being used, such that the choices of approximation method and scoring rule are intertwined. While the logarithmic rule requires fairly stringent conditions, the continuous ranked probability score yields consistent approximations under minimal assumptions. These results are illustrated in a simulation study and an economic data example. Overall, we find that mixture-of-parameters approximations which exploit the parametric structure of Bayesian models perform particularly well.

研究の動機と目的

• MCMC出力から得られる確率的予測の妥当性を厳密に評価するフレームワークを構築すること。
• シミュレーション出力に基づく予測分布の近似に関する一貫性の概念を定義し、実装可能なものとする。
• 異なるスコアリングルールが、近似手法の一致と予測精度に与える影響を検討すること。
• 特にパラメータの混合手法を含む一般的な近似手法の、さまざまなスコアリングルール下での性能を評価すること。
• シミュレーションスタディおよび経済データの事例を用いて、これらの理論的発見の実用的意義を示すこと。

提案手法

• MCMC出力からの予測密度推定の評価に、適切なスコアリングルールを基盤として用いる。
• サンプルサイズの増大に伴い近似手法が真の予測分布に収束することを保証する、一貫性の形式的定義を導入する。
• 特に対数スコアと連続ランク確率スコア（CRPS）を焦点に、MCMCベースの事後分布シミュレータの漸近的性質を分析する。
• 広く用いられる近似手法（例：カーネル密度、パラメータの混合）が、提示された一貫性基準を満たす条件を導出する。
• ベイズモデルのパラメトリック構造を活用するパラメータの混合近似を用いて、予測精度を向上させる。
• シミュレーションスタディおよび経済データを用いた実証応用を通じて、理論的発見の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのスコアリングルールが、MCMC出力からの予測分布の推定において一貫性を確保するか？
• RQ2 カーネル密度やパラメータの混合といった異なる近似手法は、さまざまなスコアリングルール下でどのように性能を発揮するか？
• RQ3 連続ランク確率スコアを用いた確率的予測のための最小限の正則性条件は何か？
• RQ4 スコアリングルールの選択が、MCMCベースの予測的推論の妥当性と信頼性にどのように影響を与えるか？
• RQ5 パラメトリック構造を持つ近似（例：パラメータの混合）は、非パラメトリック代替手法に比べて、一貫性および正確性の面でどの程度優れるか？

主な発見

• 連続ランク確率スコア（CRPS）は、最小限の正則性仮定のもとで予測分布の近似が一貫することを示し、実用的用途においても頑健である。
• 対数スコアは一貫性を確保するためのより厳しい条件を要するため、混合が弱いか高次元の事後分布を伴う設定では応用範囲が限定される。
• ベイズモデルのパラメトリック構造を活用するパラメータの混合近似は、予測精度および一貫性の面で非パラメトリック代替手法を一貫して上回る。
• 理論的結果から、スコアリングルールと近似手法の選択は相互に依存しており、一貫性は両者の適合性に依存することが明らかになった。
• シミュレーションスタディおよび経済データの事例による実証的検証により、CRPSに基づく手法が多様な状況下でも優れた性能を維持することが確認された。