[論文レビュー] Understanding predictive information criteria for Bayesian models

Andrew Gelman, Jessica Hwang+1 more|arXiv (Cornell University)|Jul 23, 2013

Statistical Methods and Bayesian Inference参考文献 25被引用数 9

ひとこと要約

本稿は、AIC、DIC、WAICを予測誤差のバイアス補正推定器として再定式化することにより、これらが出外側予測誤差を推定するためのベイジアンな枠組みを提供する。3つの具体的な例を通じて比較した結果、WAICは交差検証の計算的に効率的で完全にベイジアンな代替手法であり、理論的裏付けが強く、実務においても信頼性が高いことが示された。

ABSTRACT

We review the Akaike, deviance, and Watanabe-Akaike information criteria from a Bayesian perspective, where the goal is to estimate expected out-of-sample-prediction error using a biascorrected adjustment of within-sample error. We focus on the choices involved in setting up these measures, and we compare them in three simple examples, one theoretical and two applied. The contribution of this review is to put all these information criteria into a Bayesian predictive context and to better understand, through small examples, how these methods can apply in practice.

研究の動機と目的

• 予測フレームワーク内に位置づけることにより、情報量基準がベイジアンモデル比較において果たす役割を明確化すること。
• 実務的なベイジアンモデリングにおいてAIC、DIC、WAICのうちどれを選ぶかに関する実務的混乱を解消すること。
• 単純だが非自明な例を通じて、これらの基準の性能を評価し、それらの使用に向けた直感を築くこと。
• 交差検証の信頼性が高く、計算的に効率的な代替手法としてのWAICを提唱すること。
• 既存手法の限界を強調し、複雑なモデルにおけるモデル評価のための強固でスケーラブルなツールの必要性を指摘すること。

提案手法

• AIC、DIC、WAICを、過学習を補正するための内側予測誤差の調整を施した交差検証の近似手法としてレビューする。
• 3つの例（単純な正規分布モデル、階層ベイジアンモデル、二値データを用いたロジスティック回帰モデル）にこれらの基準を適用する。
• モデルの正確性の中心的指標として対数予測密度を用い、点予測には二乗誤差などの適切なスコアルールを用いる。
• 事後予測チェックと有効自由度を用いて、モデルの適合度と複雑さを評価する。
• 異なるデータ構造と事前分布の仮定下での基準間の結果を比較し、その頑健性を評価する。
• Watanabe (2010) および Vehtari & Ojanen (2012) の既存理論的基盤に依拠し、点単位の予測密度に基づくWAICの定式化を正当化する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンモデルにおいて、AIC、DIC、WAICは外側予測誤差の推定器としてどのように機能するか？
• RQ2 これらの基準が破綻する、あるいは誤った結果を生じる状況はどのようなものか？
• RQ3 WAICは交差検証と比較して、精度と計算効率の面でどの程度優れているか？
• RQ4 これらの基準を用いたモデル比較において、モデル選択バイアスが生じる影響は何か？
• RQ5 WAICは実務的ベイジアン推論において、交差検証の信頼性が高く、計算的に効率的な代替手段として機能できるか？

主な発見

• WAICは、点単位の予測密度推定に基づく理論的裏付けが強く、交差検証の完全にベイジアンな近似を提供する。計算的にも効率的である。
• DICは、事後分布がその平均でうまく近似できない場合（特に非正則モデルの場合）に、意味のない結果を生じる可能性がある。
• AICは強い事前情報がある状況では失敗する。これは、モデルの複雑さに及ぼす事前の影響を考慮していないためである。
• より良いモデルによる予測精度の向上は、絶対値では小さく、例えばアンケート例ではn=1000のときわずか20単位程度にとどまる。このため、小標本では検出が困難である。
• 多くのモデルを比較する際、情報量基準によるモデル選択はバイアスを生じる可能性がある。特に、モデル数が標本サイズとともに増加する場合には顕著である。
• それらの欠陥にもかかわらず、情報量基準と交差検証は、モデルの適合度を理解するための価値あるツールであり、特にモデル改善の探求に用いる場合には有効である。