[논문 리뷰] On the equivalence between Kolmogorov-Smirnov and ROC curve metrics for binary classification

Paulo J. L. Adeodato, Silvio de Barros Melo|arXiv (Cornell University)|2016. 06. 01.

Medical Imaging and Analysis참고 문헌 9인용 수 4

한 줄 요약

이 논문은 이진 분류에서 수치적 등가성 관계를 수립하여 AUC_ROC와 Kolmogorov-Smirnov(KS) 곡선의 면적(AUC_KS) 간의 수학적 등가성을 증명한다. 이를 통해 AUC_ROC = 0.5 + AUC_KS 라는 관계를 유도하며, 이는 더 단순한 KS 곡선을 활용해 AUC_ROC를 효율적으로 계산할 수 있도록 하며, 통계적 및 정보이론적 분류기 평가 프레임워크 간 이론적 통합을 가능하게 한다.

ABSTRACT

Binary decisions are very common in artificial intelligence. Applying a threshold on the continuous score gives the human decider the power to control the operating point to separate the two classes. The classifier,s discriminating power is measured along the continuous range of the score by the Area Under the ROC curve (AUC_ROC) in most application fields. Only finances uses the poor single point metric maximum Kolmogorov-Smirnov (KS) distance. This paper proposes the Area Under the KS curve (AUC_KS) for performance assessment and proves AUC_ROC = 0.5 + AUC_KS, as a simpler way to calculate the AUC_ROC. That is even more important for ROC averaging in ensembles of classifiers or n fold cross-validation. The proof is geometrically inspired on rotating all KS curve to make it lie on the top of the ROC chance diagonal. On the practical side, the independent variable on the abscissa on the KS curve simplifies the calculation of the AUC_ROC. On the theoretical side, this research gives insights on probabilistic interpretations of classifiers assessment and integrates the existing body of knowledge of the information theoretical ROC approach with the proposed statistical approach based on the thoroughly known KS distribution.

연구 동기 및 목표

• 이진 분류에서 Kolmogorov-Smirnov(KS) 지표와 ROC 곡선 아래 면적(AUC_ROC) 간의 공식적인 수학적 관계를 수립하는 것.
• 성능 평가에 있어 AUC_ROC의 실용적이고 이론적으로 타당한 대체로 AUC_KS를 제안하는 것.
• AUC_ROC 계산을 단순화하기 위해 KS 곡선의 독립 변수(위양성 비율)가 지닌 기하학적 및 계산적 이점을 활용하는 것.
• 분류기 평가에서 KS 분포 기반 통계적 접근과 정보이론적 ROC 분석 간의 통합을 이루는 것.

제안 방법

• 저자들은 KS 곡선을 ROC의 우연의 대각선에 맞추기 위해 기하학적 변환을 통해 AUC_ROC = 0.5 + AUC_KS 의 등가성을 유도한다.
• 이 방법은 양성 및 음성 클래스 간 점수 차이의 누적분포함수로 KS 곡선을 해석하는 데 의존한다.
• 증명는 KS 통계량이 두 클래스의 경험적 누적분포함수 간 최대 수직 거리를 측정한다는 사실을 이용한다.
• 이 변환은 KS 곡선을 ROC 공간에 매핑함으로써, KS 곡선 아래 면적이 제시된 선형관계를 통해 AUC_ROC에 직접 기여한다는 것을 드러낸다.
• 이 접근법은 KS 곡선에서 위양성 비율을 독립 변수로 간주하여, AUC_KS 계산을 위한 수치적 적분을 단순화한다.

실험 결과

연구 질문

• RQ1 이진 분류에서 ROC 곡선 아래 면적(AUC_ROC)과 Kolmogorov-Smirnov(KS) 곡선 아래 면적(AUC_KS) 간에 직접적인 수학적 관계가 존재하는가?
• RQ2 AUC_KS 는 이진 분류기 성능 평가에서 AUC_ROC 의 계산적으로 더 단순한 대체로 사용될 수 있는가?
• RQ3 KS 곡선을 ROC 공간으로 기하학적으로 변환함으로써 AUC_ROC 와 AUC_KS 간의 등가성이 어떻게 드러나는가?
• RQ4 분류기 평가 맥락에서 AUC_KS 지표의 확률적 해석은 무엇인가?

주요 결과

• 논문은 AUC_ROC = 0.5 + AUC_KS 를 증명하여 두 지표 간의 직접적이고 정확한 수학적 등가성을 확립한다.
• AUC_KS 지표는 위양성 비율이 KS 곡선의 독립 변수로 작용하므로 AUC_ROC 계산을 단순화하며, 더 효율적인 수치적 적분이 가능하다.
• KS 곡선을 ROC의 우연의 대각선에 기하학적으로 매핑함으로써 유도된 등가성에 대한 시각적 및 분석적 기초를 제공한다.
• 이 결과는 앙상블 방법 및 k-폴드 교차검증에서 성능 평균 계산을 보다 효율적으로 수행할 수 있도록 하며, AUC_ROC 계산을 AUC_KS 로 대체할 수 있게 한다.