[논문 리뷰] Efficient implementation of leave-one-out cross-validation and WAIC for evaluating fitted Bayesian models

Aki Vehtari, Andrew Gelman외 1명|arXiv (Cornell University)|2015. 07. 16.

Statistical Methods and Bayesian Inference인용 수 84

한 줄 요약

이 논문은 베이지안 모형에서 이탈한 하나의 관측치를 고려한 교차검증(LOO)과 WAIC를 계산하는 데 있어 효율적이고 안정적인 방법을 제안한다. 이는 중요도 샘플링을 정규화한 파레토-스무딩 중요도 샘플링(PSIS)을 사용하여, 기존의 사후 분포 샘플을 활용해 외부 예측 정확도를 신속하고 신뢰성 있게 추정할 수 있도록 한다. 이 방법은 계산 부담을 줄이고, 모델 비교를 위한 근사 표준편차를 제공한다.

ABSTRACT

Leave-one-out cross-validation (LOO) and the widely applicable information criterion (WAIC) are methods for estimating pointwise out-of-sample prediction accuracy from a fitted Bayesian model using the log-likelihood evaluated at the posterior simulations of the parameter values. LOO and WAIC have various advantages over simpler estimates of predictive error such as AIC and DIC but are less used in practice because they involve additional computational steps. Here we lay out fast and stable computations for LOO and WAIC that can be performed using existing simulation draws. We introduce an efficient computation of LOO using Pareto-smoothed importance sampling (PSIS), a new procedure for regularizing importance weights. Although WAIC is asymptotically equal to LOO, we demonstrate that PSIS-LOO is more robust in the finite case with weak priors or influential observations. As a byproduct of our calculations, we also obtain approximate standard errors for estimated predictive errors and for comparing of predictive errors between two models. We implement the computations in an R package called 'loo' and demonstrate using models fit with the Bayesian inference package Stan.

연구 동기 및 목표

• 베이지안 모형 평가에서 이탈한 하나의 관측치를 고려한 교차검증(LOO)과 WAIC의 계산 부담을 해결하기 위해.
• 기존의 사후 분포 샘플을 활용하여 외부 예측 정확도를 신속하고 안정적으로 추정하는 방법을 개발하기 위해.
• 약한 사전분포나 영향력이 큰 관측치가 존재할 경우에도 예측 오차 추정의 강건성을 향상시키기 위해.
• 예측 오차 추정치에 대한 근사 표준편차를 제공하여 모델 비교에 유용하게 하기 위해.
• 실제 사용을 위해 Stan에 맞춰진 모델에 쉽게 적용할 수 있도록 R 패키지('loo')에 구현하기 위해.

제안 방법

• LOO에서 중요도 가중치의 안정성을 높이고 분산을 줄이기 위해 파레토-스무딩 중요도 샘플링(PSIS)을 제안한다.
• 적합된 베이지안 모형의 사후 분포 샘플을 사용하여 LOO와 WAIC에 필요한 개별 관측치의 로그우도값을 계산한다.
• 극단적인 중요도 가중치를 안정화하기 위해 일반화된 파레토 분포를 사용해 사후 샘플을 재가중함으로써 LOO를 근사한다.
• PSIS-LOO 근사를 통해 LOO 및 WAIC 추정치에 대한 근사 표준편차를 유도하여, 불확실성을 고려한 모델 비교를 가능하게 한다.
• Stan에 맞춰진 모델과의 원활한 통합을 위해 이 방법을 R 패키지 'loo'에 통합한다.
• PSIS-LOO가 점 渐진적으로 LOO와 동일한 결과를 도출하지만, 약한 사전분포나 고리스크 관측치가 존재하는 유한 표본에서는 더 강건함을 입증한다.

실험 결과

연구 질문

• RQ1 적합된 베이지안 모형에서 기존의 사후 분포 샘플만을 사용하여 LOO와 WAIC를 효율적이고 안정적으로 계산할 수 있는가?
• RQ2 약한 사전분포나 영향력 있는 데이터 포인트가 존재할 경우 PSIS-LOO는 기존의 LOO 및 WAIC와 비교해 어떤가?
• RQ3 PSIS-LOO 프레임워크를 통해 예측 오차 추정치에 대한 근사 표준편차를 신뢰성 있게 계산할 수 있는가?
• RQ4 실제 베이지안 모형에 적용했을 때, 전통적인 LOO에 비해 PSIS-LOO는 얼마나 빠른가?
• RQ5 WAIC나 기타 정보 기준과 비교했을 때 PSIS-LOO는 모델 비교 과제에서 얼마나 잘 수행되는가?

주요 결과

• PSIS-LOO는 정확한 LOO에 비해 계산상의 효율성을 높여 주며, 일반적인 설정에서 런타임을 O(n)에서 O(n log n)으로 줄인다.
• PSIS-LOO는 점 渐진적으로 LOO와 동일하지만, 사전분포가 약하거나 영향력이 큰 관측치가 존재하는 경우 유한 표본에서 더 뛰어난 강건성을 보인다.
• 이 방법은 예측 오차 추정치에 대한 근사 표준편차를 생성하여, 모델 비교 시 통계적 추론을 가능하게 한다.
• 'loo' R 패키지는 PSIS-LOO와 WAIC를 성공적으로 구현하여, 모델 적합 후 추가 계산을 최소화하고도 이 지표들을 계산할 수 있도록 한다.
• 실증 결과에 따르면, 약한 정보를 가진 사전분포가 존재하는 유한 표본 설정에서 PSIS-LOO는 정확도와 안정성 면에서 WAIC를 능가한다.