[논문 리뷰] A study on cost behaviors of binary classification measures in class-imbalanced problems

Bao-Gang Hu, Weiming Dong|arXiv (Cornell University)|2014. 03. 26.

Imbalanced Data Classification Techniques참고 문헌 28인용 수 22

한 줄 요약

이 논문은 클래스 불균형 문제에서 이진 분류 측정 지표의 성능을 평가하기 위해 비용 함수 기반 이론적 프레임워크를 제안한다. 이 프레임워크는 G-means of accuracy rates와 balance error rate (BER)와 같은 측정 지표가 소수 클래스의 오분류에 대해 더 높은 비용을 부과하는 '적절한' 비용 행동을 보이며, F1, G-means of precision/recall, MCC, Kappa는 그렇지 않음을 드러낸다. 본 연구는 클래스 불균형 학습 시나리오에서 '적절한' 성능 지표를 식별하기 위한 메타-측정 기준을 수립한다.

ABSTRACT

This work investigates into cost behaviors of binary classification measures in a background of class-imbalanced problems. Twelve performance measures are studied, such as F measure, G-means in terms of accuracy rates, and of recall and precision, balance error rate (BER), Matthews correlation coefficient (MCC), Kappa coefficient, etc. A new perspective is presented for those measures by revealing their cost functions with respect to the class imbalance ratio. Basically, they are described by four types of cost functions. The functions provides a theoretical understanding why some measures are suitable for dealing with class-imbalanced problems. Based on their cost functions, we are able to conclude that G-means of accuracy rates and BER are suitable measures because they show "proper" cost behaviors in terms of "a misclassification from a small class will cause a greater cost than that from a large class". On the contrary, F1 measure, G-means of recall and precision, MCC and Kappa coefficient measures do not produce such behaviors so that they are unsuitable to serve our goal in dealing with the problems properly.

연구 동기 및 목표

• 클래스 불균형 학습에서 일부 성능 지표가 다른 지표보다 더 잘 작동하는 이유를 이해하는 데 있어 이론적 간극을 메우기 위해.
• 클래스 불균형 비율이 증가함에 따라 이진 분류 측정 지표의 내재된 비용 행동을 조사하기 위해.
• 소수 클래스의 오분류가 다수 클래스의 오분류보다 더 높은 비용이 부과되는 원칙을 반영하는 '메타-측정' 기준을 정의하고 적용하기 위해.
• 데이터나 알고리즘에 의존하지 않고도 측정 지표의 암묵적 비용 함수에 기반해 '적절한' 및 '부적절한' 측정 지표를 구분하기 위해.
• 비용이 없는, 불균형 데이터 기반 분류에서 학습 기준을 선택하는 데 이론적 기반을 제공하기 위해.

제안 방법

• 연구는 F1, G-means, BER, MCC, Kappa를 포함한 12개의 이진 분류 측정 지표에 대해 클래스 불균형 비율에 따른 정확하거나 근사된 비용 함수를 유도한다.
• 소수 클래스의 오분류에 더 높은 비용이 부과되는지 여부를 평가하기 위해 새로운 메타-측정을 도입한다.
• 이론적 분석을 통해 비용 함수를 네 가지 유형으로 분류하며, 두 가지의 명확한 행동 패턴을 확인한다: '적절한'(소수 클래스 오분류에 더 높은 처벌), '부적절한'(소수 클래스 오분류에 동일하거나 낮은 처벌).
• 이론적 결과를 검증하기 위해 다양한 불균형 비율(p2 = 0.5, 0.1, 0.01, 0.001, 0.0001, 0.00001)을 가진 합성 데이터를 사용해 수치적 예제를 구성한다.
• 데이터나 알고리즘 노이즈로부터 측정 지표의 내재적 성질을 분리하기 위해 성능 기반 평가보다 기반 함수 평가를 우선시한다.
• 이론적 비용 함수 분석을 통해 실증적 데이터셋이나 학습 알고리즘에 의존하지 않고도 측정 지표의 등가성과 차이를 비교할 수 있다.

실험 결과

연구 질문

• RQ1 왜 일부 성능 지표가 높은 불균형 이진 분류 문제에서 다른 지표보다 더 잘 작동하는가?
• RQ2 클래스 불균형 비율이 증가함에 따라 일반적인 이진 분류 측정 지표의 암묵적 비용 함수는 무엇인가?
• RQ3 어느 측정 지표가 본질적으로 소수 클래스 오분류에 더 높은 처벌을 부과하는가? 이는 이러한 오분류가 더 비용이 많이 든다는 원칙과 일치한다.
• RQ4 클래스 불균형 학습에서 '적절한'과 '부적절한' 성능 지표를 구분하기 위해 메타-측정을 어떻게 정의할 수 있는가?
• RQ5 이론적 비용 행동이 측정 지표 간 실세계 성능 차이를 어느 정도 예측할 수 있는가?

주요 결과

• G-means of accuracy rates와 balance error rate (BER)는 '적절한' 비용 행동을 보이며, 소수 클래스의 오분류에 더 높은 비용을 할당하여 불균형 문제에 적합하다.
• F1 측정 지표, 정밀도와 재현율의 G-means, Matthews correlation coefficient (MCC), Kappa 계수에서는 적절한 비용 행동을 보이지 않으며, 따라서 불균형 학습에 '부적절하다'.
• 비용 함수 분석 결과, BER과 accuracy rates의 G-means는 이론적으로 동일한 비용 행동을 보이며, 둘 다 메타-측정 기준을 충족한다.
• 수치적 결과는 BER과 accuracy rates의 G-means가 증가하는 불균형 비율 동안 안정적이고 최적의 결정 경계를 유지하는 반면, F1과 G_PR는 성능이 악화됨을 확인한다.
• 이 연구는 A_T(전체 정확도)와 F1이 '부적절하다'고 밝혀내며, 이는 소수 클래스 오분류에 대한 처벌을 증가시키지 못하기 때문이다. 이는 불균형 환경에서 모델 품질이 떨어질 수 있음을 시사한다.
• 이론적 프레임워크는 데이터나 알고리즘에 의존하지 않고 학습 기준을 선택하는 데 기반을 제공하며, 머신러닝에서 '무엇을 학습할 것인가'가 핵심 문제임을 강조한다.