[논문 리뷰] Binary Classification with Karmic, Threshold-Quasi-Concave Metrics

Bowei Yan, Oluwasanmi Koyejo외 2명|arXiv (Cornell University)|2018. 06. 02.

Machine Learning and Algorithms인용 수 9

한 줄 요약

이 논문은 복잡한 비분해형 성능 지표에서 이진 분류를 위한 일반적인 프레임워크를 제안한다. 이는 베이즈 최적 분류기가 조건부 확률의 임계값 함수임을 보장하는 두 가지 핵심 성질—카르미크성과 임계값 준볼록성—을 규명함으로써 이루어진다. 저자들은 새로운 임계값 추정기와 함께 플러그인 추정기를 제안하고, 미세한 정규성 조건 하에서 초과 유틸리티의 빠른 수렴 속도를 확립한다. 이는 가우시안 모델의 경우 $O(\log n / n)$, 헬더-스무쓰한 조건부 확률의 경우 $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$의 수렴 속도를 포함한다.

ABSTRACT

Complex performance measures, beyond the popular measure of accuracy, are increasingly being used in the context of binary classification. These complex performance measures are typically not even decomposable, that is, the loss evaluated on a batch of samples cannot typically be expressed as a sum or average of losses evaluated at individual samples, which in turn requires new theoretical and methodological developments beyond standard treatments of supervised learning. In this paper, we advance this understanding of binary classification for complex performance measures by identifying two key properties: a so-called Karmic property, and a more technical threshold-quasi-concavity property, which we show is milder than existing structural assumptions imposed on performance measures. Under these properties, we show that the Bayes optimal classifier is a threshold function of the conditional probability of positive class. We then leverage this result to come up with a computationally practical plug-in classifier, via a novel threshold estimator, and further, provide a novel statistical analysis of classification error with respect to complex performance measures.

연구 동기 및 목표

• 표준 경험 리스크 최소화로 최적화할 수 없는 복잡한 비분해형 성능 지표(예: F-측정, 정밀도)에 대한 이진 분류 문제에 대응하기 위해.
• 베이즈 최적 분류기가 조건부 확률의 임계값이 되도록 보장하는 최소한의 구조적 가정—특히 카르미크성과 임계값 준볼록성 성질—을 규명하기 위해.
• 조건부 확률 추정과 새로운 임계값 추정기의 조합을 통해 계산적으로 실용적인 플러그인 추정기를 개발하기 위해.
• 일반적인 비분해형 성능 지표에 대한 분류 오차의 통계적 분석을 제공하고, 저소음 및 스무쓰함 조건 하에서 빠른 수렴 속도를 확보하기 위해.
• 정확도에 대한 마진 기반 저소음 가정을 복잡한 성능 지표로 확장하고, 특정 모델에 대해 명시적인 수렴 속도를 유도하기 위해.

제안 방법

• 성능 지표에서 진짜 양성, 진짜 음성, 그리고 감소된 가짜 양성/가짜 음성에 대한 민감도를 수식화하는 카르미크성 성질을 도입한다.
• 이전의 가정보다 더 약한 구조적 조건으로서 임계값 준볼록성을 정의하여 최적 임계값 주변의 성능이 잘 조율되도록 보장한다.
• 이 두 성질이 만족될 경우, 베이즈 최적 분류기가 조건부 확률 $P(Y=1|X)$의 임계값 함수임을 증명한다.
• 조건부 확률 추정과 최대우도 또는 비모수 추정기(예: 로지스틱 회귀, 커널 밀도 추정기)를 통해 최적 임계값을 추정하는 플러그인 분류기를 제안한다.
• 조건부 확률 추정의 수렴 속도, 임계값 추정의 수렴 속도, 마진 가정에 의해 측정된 노이즈 수준의 세 가지 구성요소에 의존하는 일반적인 초과 유틸리티 경계를 확립한다.
• 특정 모델 하에서 명시적인 수렴 속도를 도출한다: 가우시안 생성 모델의 경우 $O(\log n / n)$, $\beta$-헬더 스무쓰한 조건부 확률의 경우 $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$.

실험 결과

연구 질문

• RQ1 성능 지표에 대해 어떤 일반적 조건이 존재할 경우, 베이즈 최적 분류기가 조건부 확률 $P(Y=1|X)$의 임계값 함수가 되는가?
• RQ2 비분해형 지표에 대해 계산적으로 실용적이면서도 통계적으로 일致하는 플러그인 분류기를 구성할 수 있는가?
• RQ3 미세한 정규성 조건 하에서 이러한 플러그인 추정기의 초과 유틸리티 수렴 속도는 무엇인가?
• RQ4 이 수렴 속도는 조건부 확률의 스무쓰함과 결정 경계 근처의 노이즈 수준에 따라 어떻게 달라지는가?
• RQ5 임계값이 알려져 있지 않고 데이터로부터 추정되어야 할 경우에도 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 카르미크성과 임계값 준볼록성 성질을 만족하는 모든 성능 지표에 대해, 베이즈 최적 분류기는 조건부 확률 $P(Y=1|X)$의 임계값 함수이다.
• 조건부 확률 추정과 새로운 임계값 추정기를 조합한 제안된 플러그인 분류기는 일致성과 빠른 수렴 속도를 달성한다.
• 가우시안 생성 모델의 경우, 초과 유틸리티는 $O(\log n / n)$ 속도로 수렴하며, 이는 0-1 손실에 대해 알려진 빠른 수렴 속도와 일치하지만 더 넓은 유틸리티 함수의 클래스로 확장된다.
• $\beta$-헬더 스무쓰한 조건부 확률의 경우, 초과 유틸리티는 $O(n^{-(\min\{\alpha,1\}+1)\beta/(2\beta+d)})$ 속도로 수렴하며, $\beta > \max\{d/(2\alpha), d/2\}$일 경우 $O(1/\sqrt{n})$보다 더 빠르다.
• 분석을 통해 마진 기반 저소음 가정을 비분해형 지표로 확장하여, 미세한 스무쓰함과 노이즈 조건 하에서도 빠른 수렴 속도를 달성할 수 있음을 보였다.
• 기존의 접근 방식보다 더 약한 가정을 요구함으로써, 특히 강한 단조성 또는 구조적 제약 조건을 피하면서도 이전 결과를 일반화한다.