[논문 리뷰] AUC: Nonparametric Estimators and Their Smoothness.

Waleed A. Yousef|arXiv (Cornell University)|2019. 07. 30.

Advanced Statistical Methods and Models참고 문헌 20인용 수 5

한 줄 요약

이 논문은 부트스트랩과 같은 리샘플링 방법을 사용하여 AUC를 추정하는 통합 비모수 프레임워크를 제시한다. 기존의 오차율 추정 기법을 확장한 것으로, AUC 추정기들이 오차율 추정기들과 유사한 행동을 보임을 입증하며, .632+ 부트스트랩이 정확도에서는 略로 뛰어나고 진짜 조건부 AUC와 약한 상관관계를 보임을 보여준다.

ABSTRACT

Nonparametric estimation of a statistic, in general, and of the error rate of a classification rule, in particular, from just one available dataset through resampling is well mathematically founded in the literature using several versions of bootstrap and influence function. This article first provides a concise review of this literature to establish the theoretical framework that we use to construct, in a single coherent framework, nonparametric estimators of the AUC (a two-sample statistic) other than the error rate (a one-sample statistic). In addition, the smoothness of some of these estimators is well investigated and explained. Our experiments show that the behavior of the designed AUC estimators confirms the findings of the literature for the behavior of error rate estimators in many aspects including: the weak correlation between the bootstrap-based estimators and the true conditional AUC; and the comparable accuracy of the different versions of the bootstrap estimators in terms of the RMS with little superiority of the .632+ bootstrap estimator.

연구 동기 및 목표

• 기존에 오차율 추정에 사용된 비모수 리샘플링 기반 추정 방법을 두 샘플 통계인 AUC로 확장하기.
• 영향 함수와 부트스트랩 기법을 사용한 AUC 추정을 위한 이론적 통합 프레임워크 수립.
• 비모수 AUC 추정기의 부드러움 성질 분석.
• 정확도와 진짜 조건부 AUC와의 상관관계 측면에서 다양한 부트스트랩 기반 AUC 추정기의 실증적 성능 평가.

제안 방법

• 영향 함수 이론과 부트스트랩 리샘플링을 적응하여 AUC에 대한 비모수 추정기 구축.
• 두 샘플 성격을 반영한 경험분포의 기능으로서 AUC 추정기 수립.
• 표준 부트스트랩, .632, .632+ 부트스트랩 방법을 사용하여 단일 데이터셋에서 AUC 추정.
• 이론적 유도와 渐近적 성질을 통한 추정기의 부드러움 분석.
• 몬테카를로 실험을 통해 루트 평균 제곱(RMS) 오차 기준 추정기 성능 비교.
• 부트스트랩 기반 AUC 추정치와 진짜 조건부 AUC 사이의 상관관계 평가.

실험 결과

연구 질문

• RQ1 오차율 추정에 사용된 비모수 리샘플링 방법을 두 샘플 통계인 AUC로 어떻게 확장할 수 있는가?
• RQ2 리샘플링 하에서 비모수 AUC 추정기의 이론적 부드러움 행동은 어떠한가?
• RQ3 다양한 부트스트랩 변형(예: .632+, .632) 간의 AUC 추정 정확도는 어떻게 비교되는가?
• RQ4 부트스트랩 기반 AUC 추정치와 진짜 조건부 AUC 사이에 약한 상관관계가 어느 정도 존재하는가?
• RQ5 AUC 추정기의 실증적 행동은 이전 문헌에서 관찰된 오차율 추정기의 행동과 유사한가?

주요 결과

• 제안된 프레임워크는 오차율 추정에서 AUC 추정으로 비모수 리샘플링 기법을 통합적으로 확장하는 데 성공했다.
• 비모수 AUC 추정기의 부드러움은 잘 특성화되어 있으며 이론적 기대와 일치한다.
• 부트스트랩 기반 AUC 추정기들은 진짜 조건부 AUC와 약한 상관관계를 보이며, 오차율 추정 문헌의 결과를 확인한다.
• .632+ 부트스트랩 추정기는 RMS 오차 기준으로 다른 부트스트랩 변형보다 略로 더 높은 정확도를 보였다.
• AUC 추정을 위한 다양한 부트스트랩 방법은 유사한 정확도를 보이며, .632+ 방법은 미세하지만 일관된 우월성을 보였다.
• 실증 결과는 AUC 추정기가 핵심 통계적 성질에서 오차율 추정기들과 비슷하게 행동함을 확인하며, 기존 이론의 확장이 타당함을 입증한다.