[논문 리뷰] The MCC-F1 curve: a performance evaluation technique for binary classification

Chang Cao, Davide Chicco외 1명|arXiv (Cornell University)|2020. 06. 17.

Imbalanced Data Classification Techniques참고 문헌 29인용 수 48

한 줄 요약

이 논문은 ROC/PR 분석의 편향을 다루기 위해 MCC-F1 곡선을 제시하고, MCC와 F1을 곡선과 단일 통합 지표로 결합하며, 동반되는 R 패키지를 제공합니다.

ABSTRACT

Many fields use the ROC curve and the PR curve as standard evaluations of binary classification methods. Analysis of ROC and PR, however, often gives misleading and inflated performance evaluations, especially with an imbalanced ground truth. Here, we demonstrate the problems with ROC and PR analysis through simulations, and propose the MCC-F1 curve to address these drawbacks. The MCC-F1 curve combines two informative single-threshold metrics, MCC and the F1 score. The MCC-F1 curve more clearly differentiates good and bad classifiers, even with imbalanced ground truths. We also introduce the MCC-F1 metric, which provides a single value that integrates many aspects of classifier performance across the whole range of classification thresholds. Finally, we provide an R package that plots MCC-F1 curves and calculates related metrics.

연구 동기 및 목표

• 불균형 이진 분류에서 ROC 및 PR 곡선의 한계를 제시한다.
• 더 정보가 풍부한 평가 도구로 MCC-F1 곡선을 제안한다.
• 임계값 전 범위의 성능을 집계하는 하나의 포괄적 MCC-F1 지표를 도입한다.
• 실용적 사용을 위한 동반 소프트웨어 구현(R 패키지)을 제공한다.

제안 방법

• 시뮬레이션을 통해 ROC 및 PR의 한계를 분석하고 성능 과장을 설명한다.
• 임계값 전반에 걸쳐 MCC와 F1을 결합한 플롯으로 MCC-F1 곡선을 정의한다.
• 임계값 범위에 걸친 성능을 요약하는 단일 값으로 MCC-F1 지표를 정의한다.
• MCC-F1 곡선을 시각화하고 관련 지표를 계산하기 위한 R 패키지를 개발하여 공개한다.

실험 결과

연구 질문

• RQ1 ROC 및 PR 분석이 불균형한 이진 분류 시나리오에서 성능을 과장시키는가?
• RQ2 MCC와 F1을 결합하여 임계값에 따라 좋은 분류기와 나쁜 분류기를 더 잘 구분하는 곡선을 만들 수 있는가?
• RQ3 MCC-F1 곡선이 임계값 전반에 걸친 분류기 성능의 신뢰할 수 있는 단일 지표 요약을 제공하는가?
• RQ4 실무자가 MCC-F1 곡선을 계산하고 시각화할 수 있는 접근 가능한 소프트웨어 도구가 있는가?

주요 결과

• 불균형한 설정에서 ROC/PR 분석은 오해의 소지가 있는 평가를 제공할 수 있다.
• MCC-F1 곡선은 불균형한 경우에 ROC/PR보다 분류기를 더 명확하게 구분한다.
• MCC-F1 지표는 임계값에 걸친 성능을 요약하는 단일 값을 제공한다.
• MCC-F1 곡선을 시각화하고 관련 지표를 계산하기 위한 R 패키지가 제공된다.