[論文レビュー] Efficient implementation of leave-one-out cross-validation and WAIC for evaluating fitted Bayesian models

Aki Vehtari, Andrew Gelman+1 more|arXiv (Cornell University)|Jul 16, 2015

Statistical Methods and Bayesian Inference被引用数 84

ひとこと要約

この論文は、パレート平滑化された重要度サンプリング（PSIS）を用いて、ベイズモデルにおけるleave-one-out cross-validation（LOO）およびWAICを効率的かつ安定して計算する手法を提案する。これにより、予測精度の外挙動推定が高速かつ信頼性高く可能になる。このアプローチは、既存の事後分布シミュレーションを活用し、計算負荷を軽減するとともに、モデル比較のための近似標準誤差を提供する。

ABSTRACT

Leave-one-out cross-validation (LOO) and the widely applicable information criterion (WAIC) are methods for estimating pointwise out-of-sample prediction accuracy from a fitted Bayesian model using the log-likelihood evaluated at the posterior simulations of the parameter values. LOO and WAIC have various advantages over simpler estimates of predictive error such as AIC and DIC but are less used in practice because they involve additional computational steps. Here we lay out fast and stable computations for LOO and WAIC that can be performed using existing simulation draws. We introduce an efficient computation of LOO using Pareto-smoothed importance sampling (PSIS), a new procedure for regularizing importance weights. Although WAIC is asymptotically equal to LOO, we demonstrate that PSIS-LOO is more robust in the finite case with weak priors or influential observations. As a byproduct of our calculations, we also obtain approximate standard errors for estimated predictive errors and for comparing of predictive errors between two models. We implement the computations in an R package called 'loo' and demonstrate using models fit with the Bayesian inference package Stan.

研究の動機と目的

• ベイズモデル評価におけるleave-one-out cross-validation（LOO）およびWAICの計算負荷を軽減すること。
• フィットされたベイズモデルからの既存の事後分布シミュレーション抽出を用いて、外挙動予測精度を高速かつ安定して推定する手法を開発すること。
• 弱い事前分布や影響力の強い観測値がある状況でも、予測誤差推定のロバスト性を向上させること。
• 推定された予測誤差のための近似標準誤差と、モデル間比較のための標準誤差を提供すること。
• Stanでフィットされたモデルとの実用的連携を図るため、Rパッケージ（'loo'）にこの手法を実装すること。

提案手法

• LOOにおける重要度重みの正則化を図るために、パレート平滑化された重要度サンプリング（PSIS）を提案し、安定性の向上と分散の低減を実現する。
• フィットされたベイズモデルからの事後分布シミュレーションを用いて、LOOおよびWAICに必要なポイントワイズ対数尤度値を計算する。
• PSISを用いて、一般化パレート分布を用いて事後分布抽出を再重み付けすることで、極端な重要度重みを安定化させ、LOOを近似する。
• PSIS-LOO近似を用いてLOOおよびWAIC推定値の近似標準誤差を導出し、不確実性を伴ったモデル比較を可能にする。
• Stanでフィットされたモデルとのシームレスな連携を図るため、この手法をRパッケージ'loo'に統合する。
• PSIS-LOOが漸近的にLOOと同等であるが、弱い事前分布や高 leverage 観測値を含む有限標本ではよりロバストであることを示す。

実験結果

リサーチクエスチョン

• RQ1 フィットされたベイズモデルからの既存の事後分布シミュレーション抽出のみを用いて、LOOおよびWAICを効率的かつ安定して計算できるか？
• RQ2 弱い事前分布や影響力の強いデータポイントがある状況において、PSIS-LOOは標準的なLOOおよびWAICと比べてどの程度ロバストか？
• RQ3 PSIS-LOOフレームワークを用いて、予測誤差推定のための近似標準誤差を信頼性高く計算できるか？
• RQ4 実世界のベイズモデルに適用した際、PSIS-LOOは従来のLOOに比べてどの程度の計算パフォーマンス向上を達成するか？
• RQ5 WAICや他の情報量基準と比較して、PSIS-LOOはモデル比較タスクにおいてどの程度の性能を発揮するか？

主な発見

• PSIS-LOOは、通常の設定において実行時間をO(n)からO(n log n)に削減する、正確なLOOの計算的効率な代替手法を提供する。
• PSIS-LOOは漸近的にLOOと同等であるが、弱い事前分布や影響力の強い観測値がある有限標本では、より優れたロバスト性を示す。
• この手法は予測誤差推定のための近似標準誤差を生成し、モデル比較における統計的推論を可能にする。
• 'loo' RパッケージはPSIS-LOOおよびWAICを効果的に実装しており、モデルフィッティング後、追加計算を最小限に抑えてこれらの指標を計算可能にしている。
• 実証的結果から、PSIS-LOOは、弱 informative な事前分布を用いた有限標本設定において、WAICよりも精度と安定性に優れていることが示された。