[논문 리뷰] Bayesian leave-one-out cross-validation for large data

Måns Magnusson, Michael Riis Andersen외 1명|arXiv (Cornell University)|2019. 04. 24.

Statistical Methods and Bayesian Inference인용 수 16

한 줄 요약

이 논문은 확률적 크기 비례(PPS) 표본 추출과 근사 추론(예: 라플라스, ADVI)을 결합하여 대규모 데이터셋에 대한 확장 가능한 베이지안 이탈자 하나의 교차검증(LOO-CV) 방법을 제안한다. 이는 예측 밀도의 로그 기대값(elpd)의 일致성 있는 추정을 달성하며, 근사 품질과 표본 추출 불확실성 평가를 위한 진단 도구(예: Pareto-k 형태 파라미터)를 제공한다.

ABSTRACT

Model inference, such as model comparison, model checking, and model selection, is an important part of model development. Leave-one-out cross-validation (LOO) is a general approach for assessing the generalizability of a model, but unfortunately, LOO does not scale well to large datasets. We propose a combination of using approximate inference techniques and probability-proportional-to-size-sampling (PPS) for fast LOO model evaluation for large datasets. We provide both theoretical and empirical results showing good properties for large data.

연구 동기 및 목표

• 모든 관측치를 하나씩 제외한 교차검증을 수행하기 위해 전체 사후분포 추정이 필요한 대규모 데이터셋에서 표준 LOO-CV의 계산 비용 문제를 해결한다.
• 기존의 MCMC와 중요도 샘플링의 확장성 문제를 극복하기 위해 사후분포 근사와 표본 추출을 활용한다.
• 대표적 표본 크기의 점근적 성질을 만족시키는 조건 하에서 예측 밀도의 로그 기대값(elpd)의 일致성 있는 추정을 확보한다.
• 특히 Pareto-k 형태 파라미터와 HH 추정기의 분산을 포함한 진단 도구를 제공하여 사후분포 근사의 신뢰성과 표본 추출에 기인한 불확실성의 정도를 평가한다.
• 모델 비교 및 선택을 위한 실용적인 접근법을 제공함으로써 계산 비용을 줄이되 통계적 일치성은 유지한다.

제안 방법

• 전체 데이터셋에서 대표적인 표본을 추출하기 위해 확률적 크기 비례(PPS) 표본 추출을 사용하여 LOO 계산 횟수를 감소시킨다.
• 사후분포 근사(예: 라플라스, 평균장 ADVI)를 한 번 적용하여 전체 사후분포를 추정한 후, 중요도 샘플링을 통해 모든 LOO 계산에 재사용한다.
• 각 관측치를 제외한 경우의 예측 밀도 추정에 사용되는 중요도 비율을 안정화하기 위해 Pareto-조정 중요도 샘플링(PSIS)을 적용한다.
• 일반화된 Pareto 분포에서 추정된 형태 파라미터 $\hat{k}$를 활용하여 부적절한 사후분포 근사와 고리스크 관측치를 진단한다.
• 표본 추출에 기인한 불확실성을 정량화하기 위해 계층적 호르비츠-스미스(HH) 추정기의 분산을 추정하여 정밀도 평가를 가능하게 한다.
• 표본 추출과 PSIS-LOO를 통합하여 $\widehat{\text{elpd}}_{\text{loo}}$를 효율적으로 계산함으로써 정규 모델에 대해 일치성과 유한 표본에서의 강건성을 유지한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에 대해 통계적 일치성을 유지하면서도 계산 비용을 줄일 수 있는 LOO-CV의 실현 가능성을 확보할 수 있는가?
• RQ2 대규모 모델 평가에서 PSIS-LOO의 맥락에서 일반적으로 사용되는 사후분포 근사(예: 라플라스, ADVI)의 성능은 어떠한가?
• RQ3 PPS 표본 추출이 전체 LOO-CV에 비해 정확도를 얼마나 잘 유지하는가?
• RQ4 특히 $\hat{k}$ 형태 파라미터와 같은 진단 도구가 대규모 데이터 환경에서 신뢰할 수 없는 사후분포 근사를 효과적으로 식별할 수 있는가?
• RQ5 근사 사후분포를 사용하는 표본 추출 기반 LOO-CV에서 계산 효율성과 추정 정밀도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 방법은 라플라스 및 평균장 ADVI와 같은 근사 사후분포를 사용하더라도 대표적 표본 크기의 점근적 성질 하에서 $\text{elpd}_{\text{loo}}$의 일치성 있는 추정을 달성한다.
• 정규 모델의 경우, 방법은 일치성과 정확도를 유지하며, $\hat{k}$ 진단 도구가 부적절한 사후분포 근사를 효과적으로 식별한다—예를 들어 $\hat{k} > 0.7$일 경우 신뢰할 수 없는 추정을 나타낸다.
• 표본 크기 500을 사용할 경우, 라플라스 근사를 활용해 2초 미만으로 모델 비교에 필요한 정밀도를 확보했으며, 전체 MCMC를 사용한 경우 약 35초가 소요되는 것과 대비된다.
• HH 추정기의 분산($v(\widehat{\text{elpd}}_{\text{loo}})$)은 표본 추출에 기인한 불확실성에 대한 신뢰할 수 있는 측도를 제공하며, 모든 모델에서 $\sigma_{\text{loo}} \approx 90$로 유사한 값을 보였다.
• 실제 데이터 예시에서, 방법은 모델 6(변수 성향과 기울기)가 모델 4보다 우월하다고 정확히 식별했으며, $\text{elpd}_{\text{loo}}$의 차이는 220 ± 26로 전체 MCMC 결과와 일치했다.
• 10겹 교차검증보다 계산 효율성이 뛰어나면서도 유사한 결론을 도출했으며, 모델을 10번 재학습할 필요 없이도 효과적으로 작동한다.