[논문 리뷰] Bad practices in evaluation methodology relevant to class-imbalanced problems

Jan Brabec, Lukáš Machlica|arXiv (Cornell University)|2018. 12. 04.

Imbalanced Data Classification Techniques인용 수 8

한 줄 요약

이 논문은 클래스 불균형 문제를 다루는 기계학습 모델 평가에서 널리 퍼져 있는 잘못된 관행을 규명하고 비판하며, 정확도, 표준 AUC, 그리고 잘못된 샘플링 방식을 적용한 테스트 세트가 과도하게 낙관적이고 오해의 소지가 있는 성능 평가를 초래함을 강조한다. 이는 실제 운영 환경 조건을 반영하기 위해 정밀도-재현율 곡선, 조정된 정밀도, 영역별 AUC를 사용할 것을 주장한다.

ABSTRACT

For research to go in the right direction, it is essential to be able to compare and quantify performance of different algorithms focused on the same problem. Choosing a suitable evaluation metric requires deep understanding of the pursued task along with all of its characteristics. We argue that in the case of applied machine learning, proper evaluation metric is the basic building block that should be in the spotlight and put under thorough examination. Here, we address tasks with class imbalance, in which the class of interest is the one with much lower number of samples. We encountered non-insignificant amount of recent papers, in which improper evaluation methods are used, borrowed mainly from the field of balanced problems. Such bad practices may heavily bias the results in favour of inappropriate algorithms and give false expectations of the state of the field.

연구 동기 및 목표

• 최근 클래스 불균형 데이터셋을 다루는 기계학습 논문들에서 널리 퍼져 있는 잘못된 평가 관행의 보편성을 부각시키는 것.
• 정확도 및 표준 AUC와 같은 일반적인 지표가 클래스 불균형과 잘못된 테스트 세트 샘플링로 인해 오해의 소지가 있음을 입증하는 것.
• 모델 성능 평가 방법론이 동료 심사 과정에서 철저히 검토되어야 하며, 유효한 비교와 현실적인 성능 기대치를 확보하기 위해 이를 강조하는 것.
• 실제 운영 환경에서 더 정확하고 현실적인 성능 평가를 위해 조정된 정밀도, 영역별 AUC와 같은 실용적이고 원칙적인 대안을 제안하는 것.

제안 방법

• 양성 클래스가 주요 관심 대상이며 가짜 양성 결과가 비용이 많이 드는 경우, 정밀도-재현율(PR) 곡선을 ROC 곡선 대신 사용할 것을 제안한다. PR 곡선은 최종 사용자에게 관련된 상호 교환 관계를 더 잘 반영하기 때문이다.
• 테스트 세트의 클래스 사전 확률과 실제 세계의 클래스 사전 확률 간의 괴리 현상을 보정하기 위해 조정된 정밀도 공식을 도입한다: adjusted_precision = (p_real/p_test * TP) / (p_real/p_test * TP + (1-p_real)/(1-p_test) * FP).
• 특히 고불균형 상황에서는 가짜 양성 비율(FPR)이 실질적으로 관련이 있는 범위에 한정하여 AUC를 계산할 것을 권고한다. 예를 들어 네트워크 침입 탐지에서는 FPR ≤ 10⁻⁴ 범위에서만 고려할 수 있다.
• 실제 클래스 분포를 유지하고 과도하게 낙관적인 정밀도 추정을 방지하기 위해 테스트 세트에서 다수 클래스를 다운샘플링하는 것을 피할 것을 주장한다.
• 특히 의료 진단이나 네트워크 보안과 같은 분야에서 성능 지표에 미치는 영향을 논의하기 위해 진짜 클래스 사전 확률을 보고하는 것이 중요하다고 강조한다.

실험 결과

연구 질문

• RQ1 왜 정확도는 클래스 불균형 데이터셋에서 모델 평가에 부적절한 지표이며, 이를 사용할 경우 어떤 결과가 초래되는가?

주요 결과

• 517편의 불균형 분류 논문을 대상으로 한 설문 조사에서, 데이터가 불균형하다는 것을 알고 있음에도 38%는 정확도를 평가 지표로 사용하여 오해의 소지가 있는 성능 주장을 내놓았다.
• 불균형 비율보다 낮은 정확도(예: 1:100 불균형에서 97% 정확도)를 기록한 모델는 다수 클래스만 예측하는 단순한 다수 클래스 분류기보다도 성능이 열 劣하다.
• 다운샘플링된 테스트 세트를 사용할 경우, 실제 세계 조건 대비 가짜 양성 수가 과소평가되어 정밀도 추정이 과도하게 낙관적으로 나타난다.
• 전체 ROC 곡선에 대해 계산한 표준 AUC는 실질적으로 관련이 없는 영역에 의해 지배될 수 있다. 예를 들어 네트워크 침입 탐지와 같은 고불균형 분야에서는 FPR > 10⁻³ 영역에서 99.99%의 면적이 차지할 수 있다.
• 실제 세계의 클래스 사전 확률를 반영한 조정된 정밀도는 모델 성능에 대해 더 현실적인 추정치를 제공하며, 테스트 세트의 사전 확률가 실제 세계와 다를 경우 반드시 보고되어야 한다.
• 특정 영역에 국한된 AUC 계산(예: FPR ≤ 10⁻⁴ 범위)은 잘못된 비교를 방지하고 실질적인 유용성을 더 잘 반영할 수 있다.