[논문 리뷰] Analysis and Comparison of Classification Metrics

Luciana Ferrer|arXiv (Cornell University)|2022. 09. 12.

Imbalanced Data Classification Techniques인용 수 18

한 줄 요약

이 논문은 분류 시스템 평가를 위한 보다 우수하고 이론적으로 타당한 지표로 기대비용(Expected Cost, EC)과 적절한 스코링 규칙(Proper Scoring Rules, PSRs)의 사용을 주장한다. EC는 표준 오차율과 균형 오차율을 일반화하며, PSR 기반 캘리브레이션 손실은 널리 사용되는 기대 캘리브레이션 오차(Expected Calibration Error, ECE)보다 해석 가능성, 강건성, 다중 클래스 적용 가능성 면에서 뛰어나며, 하드 디시전과 캘리브레이션된 점수 모두에 대한 보다 종합적인 평가를 제공한다.

ABSTRACT

A variety of different performance metrics are commonly used in the machine learning literature for the evaluation of classification systems. Some of the most common ones for measuring quality of hard decisions are standard and balanced accuracy, standard and balanced error rate, F-beta score, and Matthews correlation coefficient (MCC). In this document, we review the definition of these and other metrics and compare them with the expected cost (EC), a metric introduced in every statistical learning course but rarely used in the machine learning literature. We show that both the standard and balanced error rates are special cases of the EC. Further, we show its relation with F-beta score and MCC and argue that EC is superior to these traditional metrics for being based on first principles from statistics, and for being more general, interpretable, and adaptable to any application scenario. The metrics mentioned above measure the quality of hard decisions. Yet, most modern classification systems output continuous scores for the classes which we may want to evaluate directly. Metrics for measuring the quality of system scores include the area under the ROC curve, equal error rate, cross-entropy, Brier score, and Bayes EC or Bayes risk, among others. The last three metrics are special cases of a family of metrics given by the expected value of proper scoring rules (PSRs). We review the theory behind these metrics, showing that they are a principled way to measure the quality of the posterior probabilities produced by a system. Finally, we show how to use these metrics to compute a system's calibration loss and compare this metric with the widely-used expected calibration error (ECE), arguing that calibration loss based on PSRs is superior to the ECE for being more interpretable, more general, and directly applicable to the multi-class case, among other reasons.

연구 동기 및 목표

• 하드 디시전과 시스템 점수를 평가하는 데 사용되는 일반적인 분류 지표를 평가하고 비교하는 것.
• 기대비용(EC)이 표준 지표들인 F-beta와 정확도보다 통계적 기반과 유연성 덕분에 뛰어나다는 것을 주장하는 것.
• 적절한 스코링 규칙(PSRs) 기반 캘리브레이션 손실이 기대 캘리브레이션 오차(ECE)보다 더 강건하고 해석 가능하다는 것을 보여주는 것.
• 이론적 근거와 오픈소스 코드를 제공하여 EC와 PSR 기반 지표의 도입을 촉진하는 것.
• 다양한 응용 시나리오에서 분류 시스템을 평가하기 위한 통합적이고 이론적으로 타당한 프레임워크를 제공하는 것.

제안 방법

• 논문은 통계적 의사결정 이론에서 유도된 바탕으로 기대비용(EC)을 표준 오차율과 균형 오차율의 일반화로 공식적으로 정의한다.
• 적절한 스코링 규칙(PSRs)을 통해 시스템 점수 평가를 프레임워크화하며, 이는 엄밀히 적절하고 캘리브레이션 품질에 민감하다.
• 저자들은 실제 기대 PSR와 최적 캘리브레이션 이후에 도달 가능한 최소값 사이의 차이로 캘리브레이션 손실을 도입한다.
• PSR 기반 캘리브레이션 손실과 ECE를 비교하며, ECE의 해석 가능성 부족, 박스 감도, 다중 클래스 처리에서의 한계를 강조한다.
• 이론적 유도를 통해 EC와 PSRs가 더 넓은 통계 원칙의 특수한 경우임을 보여주며, 이는 더 일반적이고 해석 가능한 지표임을 입증한다.
• 모든 지표를 계산할 수 있는 오픈소스 레포지터리가 제공되어 재현성과 실용적 도입을 지원한다.

실험 결과

연구 질문

• RQ1 기대비용(EC)이 F-beta와 정확도와 비교해 해석 가능성과 일반화 능력 면에서 어떻게 다른가?
• RQ2 적절한 스코링 규칙(PSRs) 기반 캘리브레이션 손실이 기대 캘리브레이션 오차(ECE)보다 어떤 방식으로 향상되는가?
• RQ3 왜 AUC와 EER처럼 분류 성능만 평가하는 지표보다 PSRs가 후행 확률 품질 평가에 더 적합한가?
• RQ4 EC는 하드 디시전과 캘리브레이션된 점수를 동시에 평가하기 위해 어떻게 통합적 프레임워크로 기능할 수 있는가?
• RQ5 다중 클래스 및 실제 운영 환경에서 ECE 대비 PSR 기반 지표의 실용적 이점은 무엇인가?

주요 결과

• 기대비용(EC)은 표준 오차율과 균형 오차율을 일반화하여 하드 디시전 평가에 더 민감하고 이론적으로 타당한 지표가 된다.
• F-beta 점수와 표준 정확도는 불균형하거나 불확실한 상황에서 EC에 비해 해석 가능성과 통계적 기반 면에서 열 劣하다.
• 적절한 스코링 규칙(PSRs)을 통한 캘리브레이션 손실은 기대 캘리브레이션 오차(ECE)보다 더 해석 가능하고 강건하며, ECE는 취약한 히스토그램 박스 분할에 의존한다.
• PSR 기반 지표는 분류 성능뿐 아니라 캘리브레이션까지 민감하게 반영하는 반면, AUC와 EER는 캘리브레이션 문제에 영향을 받지 않아서 불완전하다.
• 최적 캘리브레이션 이후 기대 PSR의 최소값은 시스템 성능의 하한선을 제공하며, 이는 캘리브레이션 손실의 정밀한 측정을 가능하게 한다.
• 오픈소스 레포지터리 덕분에 모든 결과의 재현이 가능해져 EC와 PSR 기반 지표의 실용적 도입을 지원한다.