[논문 리뷰] Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation

David Powers|arXiv (Cornell University)|2020. 10. 11.

Rough Sets and Fuzzy Logic참고 문헌 24인용 수 4,427

한 줄 요약

본 논문은 일반적인 평가 지표(precision, recall, F-measure, Rand accuracy)가 편향되어 있다고 주장하고, informedness, markedness 및 이들 간의 상관과 유의성에 대한 관계를 도입하며, 다중 클래스 평가로의 확장을 포함한다.

ABSTRACT

Commonly used evaluation measures including Recall, Precision, F-Measure and Rand Accuracy are biased and should not be used without clear understanding of the biases, and corresponding identification of chance or base case levels of the statistic. Using these measures a system that performs worse in the objective sense of Informedness, can appear to perform better under any of these commonly used measures. We discuss several concepts and measures that reflect the probability that prediction is informed versus chance. Informedness and introduce Markedness as a dual measure for the probability that prediction is marked versus chance. Finally we demonstrate elegant connections between the concepts of Informedness, Markedness, Correlation and Significance as well as their intuitive relationships with Recall and Precision, and outline the extension from the dichotomous case to the general multi-class case.

연구 동기 및 목표

• 일반적으로 사용되는 평가 지표(precision, recall, F-measure, Rand accuracy)의 편향을 강조한다.
• 편향을 의식한 평가 지표로 informedness와 markedness를 도입한다.
• informedness, markedness, correlation, and significance 간의 연결을 설명한다.
• 이러한 개념들이 recall과 precision과 어떻게 관련되는지 보여준다.
• 이 프레임워크를 이분법적 문제에서 다중 클래스 문제로 확장하는 방법을 개략한다.

제안 방법

• informedness를 우연에 비해 정보에 기반한 예측의 확률로 정의하고 이를 동기화한다.
• markedness를 예측이 임의에 비해 표지되는 확률을 포착하는 이중 척도로 도입한다.
• informedness, markedness, correlation, and significance 간의 수학적 관계를 탐구한다.
• 이 척도들이 recall과 precision 같은 전통적 지표와 어떻게 연결되는지 직관적으로 설명한다.
• 이진에서 다중 클래스 평가로의 확장 전략을 개요한다.

실험 결과

연구 질문

• RQ1 일반적인 평가 지표가 예측 성능 평가에 어떤 편향을 가져오는가?
• RQ2 informedness와 markedness는 무엇이며, 이들이 우연에 비해 예측 품질을 어떻게 정량화하는가?
• RQ3 informedness, markedness, correlation, 그리고 significance는 수학적으로 어떻게 연결되어 있는가?
• RQ4 프레임워크를 이진에서 다중 클래스 평가로 어떻게 확장할 수 있는가?

주요 결과

• informedness와 markedness는 우연에 대한 예측 품질의 확률적 평가를 제공한다.
• informedness, markedness, correlation, 그리고 significance 사이에는 명료한 연결이 있다.
• 이 개념들은 recall과 precision과 직관적으로 연관성을 제공한다.
• 프레임워크는 이분법적 케이스에서 다중 클래스 설정으로 확장될 수 있다.