[논문 리뷰] Understanding predictive information criteria for Bayesian models

Andrew Gelman, Jessica Hwang외 1명|arXiv (Cornell University)|2013. 07. 23.

Statistical Methods and Bayesian Inference참고 문헌 25인용 수 9

한 줄 요약

이 논문은 AIC, DIC, WAIC와 같은 예측 정보 기준을 베이지안 프레임워크에서 재해석하여, 외부 샘플 예측 오차의 편향 보정 추정기로 제시한다. 세 가지 예시를 통해 이러한 방법들을 비교함으로써 WAIC가 교차검증의 계산적으로 효율적이고 완전히 베이지안적인 대안임을 입증하며, 이는 이론적으로 탄탄하고 실무에서도 신뢰할 수 있는 성능을 보인다.

ABSTRACT

We review the Akaike, deviance, and Watanabe-Akaike information criteria from a Bayesian perspective, where the goal is to estimate expected out-of-sample-prediction error using a biascorrected adjustment of within-sample error. We focus on the choices involved in setting up these measures, and we compare them in three simple examples, one theoretical and two applied. The contribution of this review is to put all these information criteria into a Bayesian predictive context and to better understand, through small examples, how these methods can apply in practice.

연구 동기 및 목표

• 정보 기준이 예측 프레임워크 내에서 베이지안 모델 비교에 어떻게 기여하는지 명확히 하기 위해 이들을 예측적 관점에 위치시킨다.
• 실제 응용 베이지안 모델링에서 AIC, DIC, WAIC 간의 선택에 혼란이 발생하는 문제를 해결한다.
• 단순하지만 비단순적인 예제를 통해 이러한 기준의 성능을 평가하여 사용에 대한 직관을 형성한다.
• 베이지안 환경에서 교차검증의 신뢰할 수 있고 계산적으로 효율적인 대안으로 WAIC를 홍보한다.
• 기존 방법의 한계를 부각하고 복잡한 모델에서의 모델 평가를 위한 강력하고 확장 가능한 도구의 필요성을 강조한다.

제안 방법

• AIC, DIC, WAIC를 과적합을 보정하기 위해 내측 예측 오차를 조정하는 교차검증의 근사치로 검토한다.
• 간단한 정규 모델, 계층 모델, 이진 데이터를 가진 로지스틱 회귀 모델의 세 가지 예제에 이러한 기준을 적용한다.
• 모델 정확도의 핵심 척도로 로그 예측 밀도를 사용하며, 점 예측에 대해 제곱 오차와 같은 적절한 점수 규칙을 활용한다.
• 사후 예측 검증과 효과적 자유도를 활용해 모델 적합도와 복잡도를 평가한다.
• 다양한 데이터 구조와 사전 분포 가정 하에서 기준 간 결과를 비교하고, 그 탄력성을 평가한다.
• Watanabe(2010)와 Vehtari & Ojanen(2012)의 확립된 이론적 기반을 바탕으로 WAIC의 제안 근거로 점별 예측 밀도 추정을 활용한다.

실험 결과

연구 질문

• RQ1 베이지안 모델에서 AIC, DIC, WAIC는 외부 샘플 예측 오차 추정기로 어떻게 작동하는가?
• RQ2 이러한 기준이 어떤 상황에서 붕괴되거나 오해의 소지가 있는 결과를 낳는가?
• RQ3 정확도와 계산 효율성 측면에서 WAIC는 교차검증과 어떻게 비교되는가?
• RQ4 이러한 기준을 사용한 모델 비교 시 모델 선택 편향의 영향은 무엇인가?
• RQ5 WAIC는 실용적 베이지안 추론에서 교차검증의 신뢰할 수 있고 완전히 베이지안적인 대안으로 기능할 수 있는가?

주요 결과

• WAIC는 점별 예측 밀도 추정을 통해 이론적으로 탄탄하고 계산적으로 효율적인 교차검증의 완전한 베이지안 근사이다.
• DIC는 사후 분포가 평균으로 잘 근사되지 않을 경우, 특히 비정규 모델에서 비현실적인 결과를 낳을 수 있다.
• AIC는 강한 사전 정보가 존재하는 설정에서는 실패한다. 이는 모델 복잡도에 대한 사전 영향을 고려하지 않기 때문이다.
• 더 나은 모델에서 예측 정확도 향상은 절대적 수준에선 작을 수 있다. 예를 들어 설문 조사 예제에서 n=1000일 때 단지 20 단위 정도일 수 있다. 이는 작은 표본에서는 감지하기 어려울 수 있다.
• 정보 기준을 사용한 모델 선택은 많은 모델을 비교할 경우 편향을 유발할 수 있으며, 특히 모델 수가 표본 크기와 함께 증가할 경우 더욱 그렇다.
• 그러한 결함에도 불구하고 정보 기준과 교차검증은 모델 적합도를 이해하는 데 여전히 유용한 도구이며, 특히 모델 개선을 탐색하는 데 사용될 경우에 특히 유의미하다.