[논문 리뷰] Technical Note: Towards ROC Curves in Cost Space

José Hernández‐Orallo, Peter Flach외 1명|arXiv (Cornell University)|2011. 07. 29.

Imbalanced Data Classification Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 ROC cost 곡선—운영 조건(비용 비율 또는 기울기)과 일치하도록 임계값을 선택하여 ROC 곡선을 비용 공간으로 매핑하는 새로운 시각화 방법—을 제안한다. 이 곡선은 AUC와 ROC cost 곡선 아래 면적 사이에 선형 관계를 수립하며, 등간격 점수를 가진 분류기의 경우 이 면적이 브리어 점수와 동일하다는 것을 보여주어 AUC와 브리어 점수 사이의 첫 번째 직접 연결을 제공한다.

ABSTRACT

ROC curves and cost curves are two popular ways of visualising classifier performance, finding appropriate thresholds according to the operating condition, and deriving useful aggregated measures such as the area under the ROC curve (AUC) or the area under the optimal cost curve. In this note we present some new findings and connections between ROC space and cost space, by using the expected loss over a range of operating conditions. In particular, we show that ROC curves can be transferred to cost space by means of a very natural way of understanding how thresholds should be chosen, by selecting the threshold such that the proportion of positive predictions equals the operating condition (either in the form of cost proportion or skew). We call these new curves {ROC Cost Curves}, and we demonstrate that the expected loss as measured by the area under these curves is linearly related to AUC. This opens up a series of new possibilities and clarifies the notion of cost curve and its relation to ROC analysis. In addition, we show that for a classifier that assigns the scores in an evenly-spaced way, these curves are equal to the Brier Curves. As a result, this establishes the first clear connection between AUC and the Brier score.

연구 동기 및 목표

• 기존 문헌에서 역사적으로 일관되지 않았던 ROC 공간과 비용 공간 간의 관계를 명확히 하기 위해.
• ROC 곡선의 점과 직접적으로 대응하는 새로운 비용 곡선 유형—ROC cost 곡선—을 정의하기 위해.
• ROC cost 곡선 아래 면적과 AUC 사이의 공식적 연결을 수립하고 선형 관계를 입증하기 위해.
• 등간격 점수를 가진 분류기의 경우 ROC cost 곡선 아래 면적이 브리어 점수와 동일하다는 것을 보여주어 두 핵심 성능 지표를 연결하기 위해.
• 비율 기반 임계값 선택을 통한, 비용 민감도 학습에서의 임계값 선택에 대한 원칙적인 프레임워크를 제공하기 위해.

제안 방법

• 비용 비율(또는 기울기)과 일치하도록 양성 예측 비율이 조절되도록 임계값을 선택하는 임계값 선택 방법을 제안하여 비용 공간에서 x축의 세그먼트 길이가 동일하도록 보장한다.
• 비용 비율에 대한 기대 손실을 유도하고, 그 결과로 도출된 곡선—ROC cost 곡선—이 비용 공간에서의 조각별 선형 함수임을 보여준다.
• 비용 비율에서 기울기로의 변수 변경을 통해 일반화된 제약 조건을 유도하고, AUC와 ROC cost 곡선 아래 면적 사이의 선형 관계를 유도한다.
• 등간격 점수를 가진 분류기에 이 방법을 적용하여, 이 조건 하에서 ROC cost 곡선이 브리어 곡선과 정확히 일치함을 보여준다.
• ROC cost 곡선 아래 면적이 AUC의 선형 변환과 수학적으로 동일하다는 것을 보이며, 특정 경우(예: 무작위, 완벽, 최악의 분류기)에서는 정확한 등식이 성립함을 입증한다.
• 도식적 예시와 수치 계산을 통해 이론적 결과를 검증하고, ROC cost 곡선을 최적 비용 곡선 및 브리어 곡선과 비교한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 직접적인 대응이 없었음에도 불구하고, ROC 곡선을 비용 공간에 의미 있게 표현할 수 있는 방법은 무엇인가?
• RQ2 ROC 곡선의 점과 비용 공간 표현 간의 일대일 매핑을 가능하게 하는 임계값 선택 방법은 무엇인가?
• RQ3 ROC cost 곡선 아래 면적과 AUC 사이에 공식적인 관계가 존재하는가?
• RQ4 브리어 점수는 어떤 조건에서 비용 곡선 아래 면적으로 해석될 수 있으며, 그 조건은 무엇인가?
• RQ5 ROC cost 곡선은 기존의 표현 방식(예: 최적 비용 곡선, 브리어 곡선)과 비교해 어떻게 다를까?

주요 결과

• ROC cost 곡선 아래 면적은 AUC와 선형 관계가 있으며, 정확한 관계는 $ \text{Area} = 2\pi_1\pi_0(1 - \text{AUC}) + \frac{1}{3} - \pi_1\pi_0 $ 로 표현된다.
• 등간격 점수를 가진 분류기의 경우 ROC cost 곡선은 브리어 곡선과 일치하며, ROC cost 곡선 아래 면적은 브리어 점수와 동일하다.
• 이로써 AUC와 브리어 점수 사이의 첫 번째 공식적이고 직접적인 연결이 수립되었으며, 이는 널리 사용되는 성능 지표들 간의 관계를 명확히 한다.
• ROC cost 곡선은 최적 비용 곡선의 타당하고 해석 가능한 대체 수단을 제공하며, 각 세그먼트가 ROC 곡선의 한 점에 대응하고 동일한 성능 정보를 반영한다.
• 완전히 校정된 분류기에서 점수가 동일한 경우, 비율 기반 방법은 최적 비용 곡선 대비 부분적으로 최적의 임계값 선택을 하지 못할 수 있으며, 이는 이 방법의 상호 보완적 특성에 대한 경고를 제기한다.
• 수치적 검증 결과 ROC cost 곡선과 브리어 곡선 아래 면적은 거의 동일한 값을 보이며(0.2006 vs. 0.2047), 구현 시 동점 처리에 의한 미세한 차이가 발생한다.