[논문 리뷰] Cross-validation Confidence Intervals for Test Error

Pierre Bayle, Alexandre Bayle외 2명|arXiv (Cornell University)|2020. 07. 24.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 k-겹 및 리브-원-아웃 교차검증에 대한 중심극한정리들을 수립하여, 테스트 오차에 대한 점점 정확해지는 신뢰구간과 학습 알고리즘을 비교하는 타당한 가설검정을 가능하게 한다. 약한 안정성 조건 하에서 일致한 분산 추정량을 제공하여, 리브-원-아웃 교차검증에 대해선 처음으로 그러한 프레임워크를 제공하며, 실제 데이터 실험에서 기존 방법들을 능가한다.

ABSTRACT

This work develops central limit theorems for cross-validation and consistent estimators of its asymptotic variance under weak stability conditions on the learning algorithm. Together, these results provide practical, asymptotically-exact confidence intervals for k-fold test error and valid, powerful hypothesis tests of whether one learning algorithm has smaller k-fold test error than another. These results are also the first of their kind for the popular choice of leave-one-out cross-validation. In our real-data experiments with diverse learning algorithms, the resulting intervals and tests outperform the most popular alternative methods from the literature.

연구 동기 및 목표

• k-겹 및 리브-원-아웃 교차검증 테스트 오차에 대해 점점 정확해지는 신뢰구간을 개발하는 것.
• 학습 알고리즘에 대한 약한 안정성 조건 하에서 교차검증에 대한 중심극한정리를 수립하는 것.
• 교차검증 추정량의 점점 정확한 분산 추정량을 제공하는 것.
• 두 학습 알고리즘의 테스트 오차를 비교하는 타당하고 강력한 가설검정을 가능하게 하는 것.
• 리브-원-아웃 교차검증에서 점점 정확한 추론을 위한 첫 번째 프레임워크를 제공하는 것.

제안 방법

• 학습 알고리즘에 대한 약한 안정성 조건 하에서 k-겹 교차검증에 대한 중심극한정리를 유도하는 것.
• 교차검증 테스트 오차 추정량의 점점 정확한 분산 추정량을 제안하는 것.
• 델타 방법과 약한 의존성 가정을 적용하여 교차검증 통계량의 점점 정확한 정규성을 정당화하는 것.
• 실제로 테스트 오차에 대한 신뢰구간을 구성할 수 있도록 하는 분산 추정량을 도입하는 것.
• 이전에 이론적 추론 지원이 없었던 리브-원-아웃 교차검증으로 프레임워크를 확장하는 것.
• 다양한 학습 알고리즘과 데이터셋을 대상으로 실제 데이터 실험을 통해 방법을 검증하는 것.

실험 결과

연구 질문

• RQ1 약한 안정성 조건 하에서 k-겹 교차검증 테스트 오차에 대해 점점 정확해지는 신뢰구간을 구성할 수 있는가?
• RQ2 일반적인 학습 알고리즘에 대해 교차검증의 점점 정확한 분산 추정량을 유도할 수 있는가?
• RQ3 기존에 이론적 추론 도구가 없었던 리브-원-아웃 교차검증에 대해 제안된 프레임워크가 적용 가능하고 타당한가?
• RQ4 기존 방법들과 비교해 볼 때, 유도된 신뢰구간과 가설검정은 신뢰구간 커버리지와 검정력 측면에서 어떻게 다른가?
• RQ5 실제로 두 학습 알고리즘 간의 테스트 오차 차이를 이 방법이 신뢰성 있게 탐지할 수 있는가?

주요 결과

• 제안된 방법은 약한 안정성 조건 하에서 k-겹 교차검증 테스트 오차에 대해 점점 정확해지는 신뢰구간을 제공한다.
• 교차검증의 점점 정확한 분산 추정량이 도출되어 실용적 추론을 가능하게 한다.
• 이 프레임워크는 리브-원-아웃 교차검증에 대해 점점 정확한 추론을 제공하는 최초의 것임을 입증한다.
• 실제 데이터 실험을 통해 제안된 구간과 가설검정이 기존 방법들보다 커버리지와 검정력 측면에서 뛰어나다는 것이 입증된다.
• 이 방법은 다양한 학습 알고리즘과 데이터셋에서 강력한 성능을 유지하여 그 일반성과 내구성을 확인한다.