[論文レビュー] Bayesian leave-one-out cross-validation for large data

Måns Magnusson, Michael Riis Andersen+1 more|arXiv (Cornell University)|Apr 24, 2019

Statistical Methods and Bayesian Inference被引用数 16

ひとこと要約

本稿では、確率的サイズに比例する（PPS）サブサンプリングと近似推論（例：ラプラシアン、ADVI）を組み合わせることで、大規模データセットにおけるスケーラブルなベイジアンLOO-CV手法を提案する。期待対数予測密度（elpd）の一貫性のある推定を達成し、近似の品質とサブサンプリングの不確実性を評価する診断ツール（例：Pareto-k形状パラメータ）を提供する。

ABSTRACT

Model inference, such as model comparison, model checking, and model selection, is an important part of model development. Leave-one-out cross-validation (LOO) is a general approach for assessing the generalizability of a model, but unfortunately, LOO does not scale well to large datasets. We propose a combination of using approximate inference techniques and probability-proportional-to-size-sampling (PPS) for fast LOO model evaluation for large datasets. We provide both theoretical and empirical results showing good properties for large data.

研究の動機と目的

• 大規模データセットにおいて、各観測値を1つずつ除外する場合に完全な事後分布推定を必要とする標準的LOO-CVの計算不能性に対処する。
• MCMCや重要度サンプリングのスケーラビリティの限界を、事後分布の近似とサブサンプリングを活用することで克服する。
• 大標本漸近論のもとで期待対数予測密度（elpd）の推定が一貫的であることを保証するとともに、精度を維持する。
• 特にPareto-k形状パラメータとHH推定量の分散といった診断ツールを提供し、事後分布近似の信頼性とサブサンプリングの不確実性を評価する。
• 計算コストを削減しつつ統計的整合性を損なわせないことで、大規模ベイジアンモデリングにおける実用的なモデル比較・選択を可能にする。

提案手法

• 全データセットから代表的なサブサンプルを確率的サイズに比例する（PPS）サンプリングで抽出し、LOO計算の数を削減する。
• 一度だけ事後分布近似（例：ラプラシアン、平均場ADVI）を適用し、重要度サンプリングを用いて全LOO計算に再利用する。
• 各除外観測値の対数予測密度推定に使用される重要度比を安定化させるために、Pareto平滑化重要度サンプリング（PSIS）を採用する。
• 一般化されたPareto分布からの推定形状パラメータ $\hat{k}$ を用いて、不良な事後分布近似や高 leverage 観測値を診断する。
• サブサンプリングに起因する不確実性を定量化するため、階層型ホルヴィッツ＝トムプソン（HH）推定量の分散を推定し、精度の評価を可能にする。
• サブサンプリングとPSIS-LOOを組み合わせ、正則モデルにおいて一貫性と頑健性を保ちつつ、$\widehat{\text{elpd}}_{\text{loo}}$ を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットにおいて、統計的整合性を損なわず、LOO-CVを計算的に実行可能にすることができるか？
• RQ2 一般的な事後分布近似（例：ラプラシアン、ADVI）は、大規模モデル評価におけるPSIS-LOOの文脈でどの程度の性能を示すか？
• RQ3 PPSサブサンプリングは、完全なLOO-CVと比較して、どの程度LOO-CV推定の正確性を保持するか？
• RQ4 Pareto-k形状パラメータのような診断ツールは、大規模データ環境において信頼性の低い事後分布近似を信頼性を持って同定できるか？
• RQ5 近似事後分布を用いたサブサンプルLOO-CVにおいて、計算効率と推定精度のトレードオフはどのようなものか？

主な発見

• 提案手法は、大標本漸近論のもとで、ラプラシアンや平均場ADVIといった近似事後分布を用いても、$\text{elpd}_{\text{loo}}$ の一貫性のある推定を達成する。
• 正則モデルにおいて、本手法は一貫性と精度を維持しており、$\hat{k}$ 診断が不良な事後分布近似を効果的に同定する（例：$\hat{k} > 0.7$ が高くなると推定が信頼できないことを示唆）。
• サブサンプルサイズ500を用いることで、ラプラシアン近似を用いて2秒未塔でモデル比較に十分な精度を達成した。これは、完全なMCMCと比較して約35秒の短縮に相当する。
• HH推定量の分散（$v(\widehat{\text{elpd}}_{\text{loo}})$）は、サブサンプリングに起因する不確実性を信頼性高く測定する指標となり、全モデルで $\sigma_{\text{loo}} \approx 90$ となる。
• 実データ例では、本手法はモデル6（変数の切片と傾き）がモデル4より優れていることを正しく同定した。$\text{elpd}_{\text{loo}}$ の差は220 ± 26であり、完全なMCMCの結果と一致した。
• 10-foldクロスバリデーションに比べ、計算効率が優れており、モデル再訓練を10回行う必要がなくなるという利点がある。