[논문 리뷰] Leave-One-Out Cross-Validation for Bayesian Model Comparison in Large Data

Måns Magnusson, Michael Riis Andersen외 2명|arXiv (Cornell University)|2020. 01. 03.

Statistical Methods and Bayesian Inference참고 문헌 32인용 수 30

한 줄 요약

이 논문은 차이 추정기와 빠른 LOO 대리기를 결합하여 대규모 데이터에서 베이시안 모델을 비교하는 효율적 방법을 개발하고, subsampling 최소화 및 모델-무관 샘플링으로 elpd 차이를 정확하게 구합니다.

ABSTRACT

Recently, new methods for model assessment, based on subsampling and posterior approximations, have been proposed for scaling leave-one-out cross-validation (LOO) to large datasets. Although these methods work well for estimating predictive performance for individual models, they are less powerful in model comparison. We propose an efficient method for estimating differences in predictive performance by combining fast approximate LOO surrogates with exact LOO subsampling using the difference estimator and supply proofs with regards to scaling characteristics. The resulting approach can be orders of magnitude more efficient than previous approaches, as well as being better suited to model comparison.

연구 동기 및 목표

• 확장 가능한 베이시안 모델 비교를 위한 elpd(예상 로그 예측 밀도)의 필요성을 동기 부여하고 정량화합니다.
• 차이 추정기와 서브샘플링을 통해 대규모 데이터에서 모델 간 elpd 차이를 추정하는 효율적 절차를 개발합니다.
• 정확도를 향상시키기 위해 LOO 대리기에 효과적인 p_eff를 통합합니다.
• 대규모 데이터 시나리오에 대한 수렴 보장 이론과 계산적 트레이드오프를 논의합니다.

제안 방법

• 모델 간 elpd 차이를 추정하기 위해 교차 무작위 추출 없이 차이 추정기를 사용합니다(식 7).
• 근사 품질을 향상시키기 위해 LOO 대리기에 p_eff를 보강합니다(식 1.2 및 관련 논의).
• 빠른 근사 대리기(Delta WAIC 변형, 테일러 기반 p_eff 근사, PSIS-LOO 대안)를 제안하여 pi_tilde를 낮은 비용으로 얻습니다(섹션 2.2).
• 차이 추정기가 elpd_loo의 편향 없는 추정치와 분산을 제공하고 pi_tilde가 평균적으로 pi로 수렴할 때 수렴이 보장된다는 것을 보입니다(정리 2 및 3).
• 여러 대리기에 대한 계산 비용의 개요를 제시하고 n, P, S에 따라 비용이 어떻게 스케일하는지 보여줍니다(표 1).

실험 결과

연구 질문

• RQ1 더 나은 근사 pi_tilde가 elpd 추정 및 모델 비교의 실증적 성능을 향상시키는가?
• RQ2 대규모 데이터에 대해 어떤 pi_tilde 대리기가 비용-정확도 트레이드오프에 유리한가?
• RQ3 Hansen-Hurwitz(HH) 방식과 차이 추정기가 elpd 차이와 분산 추정에 대해 어떻게 비교되는가?
• RQ4 대규모 데이터 베이시안 모델 비교를 수행할 때 방법이 얼마나 잘 확장되는가?

주요 결과

• p_eff를 elpd 추정에 포함시키면 plpd만 사용하는 것에 비해 정확도가 현저히 향상됩니다(대개 수자리 계단으로).
• 차이 추정기는 하나의 부분샘플을 재사용하여 여러 모델 비교를 추정할 수 있어 계산 비용을 감소시킵니다.
• HH와 차이 추정기는 개별 elpd 추정에서는 유사하게 작동하지만 HH가 일부 모델에서 약간 우수할 수 있으며, 차이 추정기의 이점은 분산 및 모델 비교 추정에 있습니다.
• 대용량 또는 계층적 모델에서 TIS 기반 대리기가 가장 높은 정확도를 제공하며 비용은 관리 가능한 수준이며, 단순한 모델에는 plpd를 권장합니다.
• 작은 부분샘플(m이 대략 100–400 정도)으로도 모델 비교가 가능하고 pi_tilde와 p_eff 근사가 개선될수록 정확도가 향상되어 스케일링이 우수합니다.