[논문 리뷰] Metrics for Multi-Class Classification: an Overview

Margherita Grandini, E. Bagli외 1명|arXiv (Cornell University)|2020. 08. 13.

Machine Learning in Bioinformatics참고 문헌 9인용 수 66

한 줄 요약

이 백서는 다중 클래스 분류 성능 지표를 조사하고, 정의, 장점, 단점 및 모델 평가와 개발을 위한 용도에 대해 설명합니다.

ABSTRACT

Classification tasks in machine learning involving more than two classes are known by the name of "multi-class classification". Performance indicators are very useful when the aim is to evaluate and compare different classification models or machine learning techniques. Many metrics come in handy to test the ability of a multi-class classifier. Those metrics turn out to be useful at different stage of the development process, e.g. comparing the performance of two different models or analysing the behaviour of the same model by tuning different parameters. In this white paper we review a list of the most promising multi-class metrics, we highlight their advantages and disadvantages and show their possible usages during the development of a classification model.

연구 동기 및 목표

• 유망한 다중 클래스 평가 지표의 광범위한 집합을 검토합니다.
• 각 지표의 장점과 단점을 강조합니다.
• 지표를 분류 모델의 개발 및 튜닝 과정에서 어떻게 활용할 수 있는지 보여줍니다.
• 클래스 균형이 지표 선택과 해석에 어떤 영향을 미치는지 설명합니다.

제안 방법

• 혼동 행렬 기반 지표와 그 확장의 토대를 둡니다.
• Accuracy, Balanced Accuracy, Balanced Accuracy Weighted를 제시하고 정의합니다.
• 이진 및 다중 클래스 설정에서 F1-Score를 설명하고 Macro 및 Micro 변형을 포함합니다.
• 분포 기반 평가 지표로서 Cross-Entropy를 소개합니다.
• 독립성 기반 지표(Matthews Correlation Coefficient 및 Cohen’s Kappa)와 이들의 다중 클래스 확장을 논의합니다.
• 실용적 해석, 장단점 및 지표 선택에 대한 가이드를 제공합니다.

실험 결과

연구 질문

• RQ1 다중 클래스 분류기를 평가하기 위한 주요 지표는 무엇이며 해석이 어떻게 다른가요?
• RQ2 Macro- 및 Micro- 평균화가 클래스 불균형 하에서 특히 다중 클래스 성능 평가에 어떻게 영향을 미치나요?
• RQ3 MCC와 Cohen의 Kappa와 같은 대체 지표가 일반적인 정확도나 F1 점수보다 바람직한 경우는 언제인가요?
• RQ4 교차 엔트로피가 분류 성능과 어떤 관련이 있으며 평가에서의 한계는 무엇인가요?

주요 결과

• Accuracy는 올바르게 분류된 항목과 잘못 분류된 항목을 합한 데이터 세트 수준의 척도입니다.
• Balanced Accuracy는 클래스별 재현율의 평균으로 클래스 불균형의 영향을 완화합니다.
• Balanced Accuracy Weighted는 클래스 빈도수를 반영하여 클래스별 재현율의 균형을 맞춥니다.
• F1-Score는 정밀도와 재현율을 조화 평균으로 결합하며, 다중 클래스 평가를 위한 Macro 및 Micro 변형이 있습니다.
• Macro F1은 모든 클래스를 동등하게 다루고, Micro F1은 전체 Accuracy에 맞춥니다; 각 해석은 다른 의미를 가집니다.
• Cross-Entropy는 결정 규칙의 품질보다는 분포 유사성을 평가하며 계산 속도가 빠릅니다.
• Matthews Correlation Coefficient와 Cohen’s Kappa는 다중 클래스에 종속도/합치도 개념을 확장하고 TN과 우연 일치를 고려합니다; 이들은 균형 잡힌 평가를 제공하며 불균형한 설정에서 단순 Accuracy를 능가할 수 있습니다.