[논문 리뷰] Optimal Binary Classification Beyond Accuracy

Shashank Kumar Singh, Justin Khim|arXiv (Cornell University)|2021. 07. 05.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 혼동 행렬에서 유도된 성능 지표로의 베이즈 최적 분류기 일반화를 시도하며, 정확도를 초월하여 불균형 데이터에서의 성능 지표를 다룹니다. 이는 스위치 분류기가 결정론적 분류기보다도 우월할 수 있음을 증명합니다. 또한 불균형의 공식화된 하위 유형인 균일한 클래스 불균형을 도입하고, k-NN 분류에 대해 유한 표본 보장을 제공하며, 스위치 임계값 설정이 실제 사기 탐지에서 F1 점수를 향상시킴을 보여줍니다.

ABSTRACT

The vast majority of statistical theory on binary classification characterizes performance in terms of accuracy. However, accuracy is known in many cases to poorly reflect the practical consequences of classification error, most famously in imbalanced binary classification, where data are dominated by samples from one of two classes. The first part of this paper derives a novel generalization of the Bayes-optimal classifier from accuracy to any performance metric computed from the confusion matrix. Specifically, this result (a) demonstrates that stochastic classifiers sometimes outperform the best possible deterministic classifier and (b) removes an empirically unverifiable absolute continuity assumption that is poorly understood but pervades existing results. We then demonstrate how to use this generalized Bayes classifier to obtain regret bounds in terms of the error of estimating regression functions under uniform loss. Finally, we use these results to develop some of the first finite-sample statistical guarantees specific to imbalanced binary classification. Specifically, we demonstrate that optimal classification performance depends on properties of class imbalance, such as a novel notion called Uniform Class Imbalance, that have not previously been formalized. We further illustrate these contributions numerically in the case of $k$-nearest neighbor classification

연구 동기 및 목표

• 비정확도 지표를 사용하는 불균형 이진 분류에 대해 유한 표본 이론적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 특히 이론적 또는 실무적으로 이전에 별도로 구분되지 않은 균일한 클래스 불균형을 포함한 클래스 불균형의 하위 유형을 공식화하기 위해.
• 일반 성능 지표를 최적화할 때 스위치 분류기가 결정론적 분류기보다도 우월할 수 있음을 보여주기 위해.
• 균일 손실 기반의 회귀 함수 추정 오차를 기반으로 한 위험 한계를 유도하기 위해.
• 실제 신용카드 사기 데이터를 사용하여 이론적 결과를 실증적으로 검증하기 위해.

제안 방법

• 혼동 행렬에서 유도된 임의의 성능 지표를 위한 일반화된 베이즈 최적 분류기를 유도하며, 검증할 수 없는 절대 연속성 가정을 완화합니다.
• 일반 지표 하에서 최적 성능을 달성하기 위해 스위치 분류기뿐 아니라 결정론적 분류기는 보장되지 않음을 증명합니다.
• k-NN 성능에 상당한 영향을 미치는 불균형 심각도를 특징짓는 새로운 개념인 균일한 클래스 불균형을 도입합니다.
• 회귀 함수의 L∞-손실 추정 오차 기반으로 위험 한계를 설정합니다.
• 일반 지표 하에서 경험 위험 최적화를 위한 효율적인 O(n log n) 알고리즘을 제안합니다.
• F1 점수를 지표로 사용하여, 신용카드 사기 데이터셋에서 최적의 결정론적 및 스위치 임계값 설정을 사용한 k-NN의 실증적 평가를 수행합니다.

실험 결과

연구 질문

• RQ1 혼동 행렬에서 유도된 임의의 성능 지표로의 베이즈 최적 분류기를 정확도를 초월하여 일반화할 수 있는가?
• RQ2 스위치 분류기가 최적 분류에서 결정론적 분류기보다 우월해지는 조건은 무엇인가?
• RQ3 특히 균일한 클래스 불균형을 포함한 클래스 불균형의 성격이 최적 분류 성능에 어떻게 영향을 미치는가?
• RQ4 비모수적 분류기인 k-NN에 대해 비정확도 지표 하에서 어떤 유한 표본 통계적 보장을 도출할 수 있는가?
• RQ5 실제 불균형 데이터셋, 예를 들어 신용카드 사기 데이터에서 스위치 임계값 설정이 성능을 얼마나 향상시키는가?

주요 결과

• 일반 지표 하에서 스위치 분류기는 최적 성능을 달성할 수 있으나, 결정론적 분류기는 정확도 기준으로 최적일지라도 그렇지 않을 수 있다.
• 검증할 수 없는 절대 연속성 가정이 필요 없이 일반화된 베이즈 분류기를 도출함으로써 이론적 강건성을 향상시켰다.
• 균일한 클래스 불균형은 k-NN 성능에 상당한 영향을 미치는 불균형의 하위 유형으로 공식적으로 정의되었으며, 다른 불균형 패tern과 구분된다.
• 회귀 함수의 L∞-손실 추정 오차 기반으로 유한 표본 위험 한계를 확립하여 알고리즘 간 성능 비교가 가능해졌다.
• 실제 신용카드 사기 탐지에서, 다양한 불균형 비율과 k 값에서 스위치 임계값 설정이 F1 점수에서 결정론적 임계값 설정을 일관되게 능가한다.
• 제안된 O(n log n) 알고리즘은 일반 성능 지표에 대한 효율적인 임계값 최적화를 가능하게 하여 대규모 데이터셋에 대한 확장성을 확보한다.