[논문 리뷰] Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"

Aki Vehtari, Daniel Simpson외 2명|arXiv (Cornell University)|2018. 10. 12.

Statistical Methods and Bayesian InferenceMathematics참고 문헌 17인용 수 21

한 줄 요약

이 논문은 그로나우와 와겐메이커스(2018)에서 제기한 베이지안 이탈리스트-아웃 교차검증(LOO-CV)에 대한 비판을 도전하며, 그들의 해석이 표준적이고 권장되는 LOO 사용 방식을 왜곡하고 있다고 주장한다. 연구는 LOO를 단일 수치 기반 의사결정 규칙으로 줄이지 말고, 불확실성 추정과 모형 가중치를 함께 사용할 것을 주장하며, 특히 의사결정 기반의 단일 수치 기반 규칙이 아니라 진단 도구로 $\hat{k}$ 통계량을 활용해 모형 적합도와 예측 성능을 평가하는 방식을 강조한다.

ABSTRACT

This article is an invited discussion of the article by Gronau and Wagenmakers (2018) that can be found at https://dx.doi.org/10.1007/s42113-018-0011-7.

연구 동기 및 목표

• 그로나우와 와겐메이커스(2018)에서 제기한 베이지안 이탈리스트-아웃 교차검증(LOO-CV)의 비판을 바로잡고, 특히 LOO가 본질적으로 결함이 있다고 주장하는 점을 수정한다.
• LOO는 단일 수치 기반 의사결정 규칙으로 사용되어서는 안 되며, 불확실성 정량화와 진단 검사와 함께 사용되어야 한다는 점을 주장한다.
• LOO 기반 모형 평균화에서 의사-Bayes 요인보다 의사-BMA+ 가중치와 스태킹 가중치를 더 우수한 대안으로 제안한다.
• 영향력 있는 관측치와 모형 오특정을 감지하는 데 중요한 진단 도구인 $\hat{k}$ 통계량의 중요성을 강조한다.
• 모형이 명백히 올바르지 않을 경우, LOO는 강제적인 모형 선택보다는 모형 비판에 더 적합하다는 점을 강조한다.

제안 방법

• LOO-CV를 예측 밀도의 기대값으로 재해석하며, LOO 추정치의 경험적 분산을 통해 불확실성 정량화를 수행한다.
• 의사-Bayes 요인을 대체하기 위해, 로그 예측 밀도 차이의 정규성 가정을 바탕으로 모형 가중치를 조정하는 의사-BMA+ 가중치를 권장한다.
• 스택킹 가중치를 통해 모형 조합을 더 체계적인 방식으로 적용하는 것이 가능하며, 이는 LOO 원칙을 직접적으로 적용한 것이다.
• 개별 데이터 포인트 기여도로 LOO 차이를 분해하여 문제 있는 관측치와 모형-데이터 불일치를 식별한다.
• LOO에서 $\hat{k}$ 진단 통계량을 적용하여, 관측치를 제거했을 때 예측 분포가 크게 변화하는 고잔압 포인트를 탐지한다.
• LOO에서 조건부 교환가능성의 중요성을 강조하며, 시간적 시리즈, 공간적, 계층적 모형에서는 블록 기반 교차검증 없이 LOO를 사용하는 것을 경계한다.

실험 결과

연구 질문

• RQ1 의사-Bayes 요인과 같은 단일 수치 요약을 LOO 기반 모형 선택에 사용하는 것이 왜 문제되는가?
• RQ2 모형 비교에서 LOO 추정치의 불확실성은 어떻게 적절히 고려할 수 있는가?
• RQ3 LOO 기반 모형 평균화에서 의사-BMA+ 및 스태킹 가중치는 의사-Bayes 요인보다 어떤 점에서 더 유리한가?
• RQ4 LOO 진단 도구인 $\hat{k}$ 통계량은 모형 비판을 어떻게 향상시키며, 모형 오특정을 어떻게 드러내는가?
• RQ5 LOO가 실패하는 조건는 무엇이며, 이러한 실패는 어떻게 감지하거나 피할 수 있는가?

주요 결과

• 그로나우와 와겐메이커스(2018)에서 사용된 의사-Bayes 요인은 표준 LOO 실천 방식을 대표하지 않으며, 불확실성 정량화와 모형 가중치를 포함해야 한다.
• 로그 예측 밀도 차이의 정규성 가정을 바탕으로 한 의사-BMA+ 가중치는 의사-Bayes 요인보다 더 적절하고 강건한 대안이다.
• 스택킹 가중치는 LOO 원칙을 직접 적용함으로써 더 체계적인 모형 조합 방법을 제공하며, 예측 성능을 향상시킨다.
• $\hat{k}$ 진단 통계량은 관측치를 제거했을 때 모형 예측이 크게 변화하는 고잔압 포인트를 효과적으로 식별한다.
• LOO는 본질적으로 결함이 있는 것은 아니지만, 데이터가 모형 파rameter 조건 하에서 교환가능하지 않거나, 향후 데이터가 관측된 데이터와 크게 다를 경우 실패한다.
• LOO는 모든 모형이 부적절할 경우 단일 모형을 선택하지 않음으로써 지식론적 불확실성을 표현할 수 있으며, 이는 여전히 적합도가 떨어지는 경우에도 항상 하나의 모형을 선호하는 우도 최대화 방법과는 대조된다.