[論文レビュー] Leave-One-Out Cross-Validation for Bayesian Model Comparison in Large Data

Måns Magnusson, Michael Riis Andersen+2 more|arXiv (Cornell University)|Jan 3, 2020

Statistical Methods and Bayesian Inference参考文献 32被引用数 30

ひとこと要約

本研究は、差分推定量と高速なLOO代替手法を組み合わせることで大規模データセット上のベイズモデル比較を効率的に行う方法を提案し、最小限のサブサンプリングとモデルには依存しないサンプリングで、正確なelpd差を実現します。

ABSTRACT

Recently, new methods for model assessment, based on subsampling and posterior approximations, have been proposed for scaling leave-one-out cross-validation (LOO) to large datasets. Although these methods work well for estimating predictive performance for individual models, they are less powerful in model comparison. We propose an efficient method for estimating differences in predictive performance by combining fast approximate LOO surrogates with exact LOO subsampling using the difference estimator and supply proofs with regards to scaling characteristics. The resulting approach can be orders of magnitude more efficient than previous approaches, as well as being better suited to model comparison.

研究の動機と目的

• elpd（期待対数予測密度）を用いたスケーラブルなベイズモデル比較の必要性を動機づけ、定量化する。
• 差分推定量とサブサンプリングを用いて、大規模データに対するモデル間のelpd差を推定する効率的な手順を開発する。
• LOO代替に効果的パラメータ数p_effを組み込み、精度を向上させる。
• 収束性の理論的保証を提供し、大規模データシナリオにおける計算上のトレードオフを論じる。

提案手法

• 差分推定量を用い、置換なしの単純ランダムサンプリングでモデル間のelpd差を推定する（式7）。
• 近似品質を向上させるためLOO代替にp_effを補助する（式1.2および関連議論）。
• 計算コストを削減する高速な近似代替（Delta WAICの派生、Taylor展開に基づくp_eff近似、PSIS-LOOの代替）を提案し、pi_tildeを得る。
• 差分推定量がelpd_looとその分散の不偏推定量を与え、pi_tildeが平均収束してpiに近づくと収束性が成り立つことを示す（命題2および3）。
• 様々な代替の計算コストを概説し、n, P, Sに対するコストのスケーリングを示す（表1）。

実験結果

リサーチクエスチョン

• RQ1 pi_tildeのより良い近似を使用することは、elpd推定とモデル比較の実証的な性能を改善しますか。
• RQ2 大規模データに対して、どのpi_tilde代替が費用対効果(コストと精度)のバランスに有利ですか。
• RQ3 差分推定量は、elpd差と分散の推定においてHansen–Hurwitz(HH)アプローチとどう比較されますか。
• RQ4 大規模データでのベイズモデル比較を実施する際、この手法はどれくらいスケールしますか。

主な発見

• elpdの推定にp_effを含めると、plpdだけを用いる場合と比較して、精度が著しく向上します（しばしば桁オーダーの改善）。
• 差分推定量により、1つのサブサンプルを再利用して複数のモデル比較を推定でき、計算コストを削減します。
• HHと差分推定量は個別のelpd推定には同程度に機能しますが、いくつかのモデルではHHが僅かに上回ることもあります。差分推定量の利点は分散とモデル比較の推定にあります。
• TISベースの代替（例：TIS_2k）は、大規模または階層モデルに対して代替手段の中で最も高い精度を提供し、費用は許容範囲内。単純なモデルにはplpdを推奨。
• 小さなサブサンプル（例：mが約100–400程度）でモデル比較が十分可能で、pi_tildeとp_effの近似精度が向上するにつれて精度も向上する、という有利なスケーリングを示します。