[논문 리뷰] Extending F1 metric, probabilistic approach

Mikołaj Sitarz|arXiv (Cornell University)|2022. 10. 21.

Neural Networks and Applications참고 문헌 9인용 수 7

한 줄 요약

이 논문은 정밀도, 재현율, 특이도, 음성 예측값을 조화 평균으로 조합한 새로운 확률적 F1 확장인 P₄를 제안한다. P₄는 대칭적이며 [0,1] 범위로 제한된 지표로, F1의 한계를 보완하여 참 음성 수를 고려하고, 어떤 핵심 조건부 확률이 0에 수렴할 경우 지표가 0이 되도록 보장한다. 이는 극단적인 경우에서 F1보다 우수하며, 실증 평가에서 임계값 선택에 있어 더 뛰어난 성능을 보였다.

ABSTRACT

This article explores the extension of well-known F1 score used for assessing the performance of binary classifiers. We propose the new metric using probabilistic interpretation of precision, recall, specificity, and negative predictive value. We describe its properties and compare it to common metrics. Then we demonstrate its behavior in edge cases of the confusion matrix. Finally, the properties of the metric are tested on binary classifier trained on the real dataset.

연구 동기 및 목표

• F1이 참 음성 수에 의존하지 않으며, 레이블 교환에 대해 비대칭이라는 점을 해결하기 위해.
• 정밀도 P(+|C+), 재현율 P(C+|+), 특이도 P(C-|-), 음성 예측값 P(-|C-)와 같은 네 가지 핵심 조건부 확률을 평가하는 통합 지표를 개발하기 위해.
• 모든 네 가지 확률이 1에 가까울 때만 1에 도달하고, 어느 하나의 확률이 0에 수렴할 경우 0이 되며, [0,1] 범위로 제한된 지표를 만들기 위해.
• 불균형 데이터셋에서 F1과 MCC보다 더 견고한 대안을 제공하기 위해.

제안 방법

• P₄를 정밀도, 재현율, 특이도, 음성 예측값(NPV)의 조화 평균으로 정의한다.
• P₄가 세 가지 핵심 성질을 만족하도록 보장한다: [0,1]로 제한된 범위, 구성 확률 중 하나가 0일 경우 0이 되는 성질, 그리고 모든 네 가지 확률이 1일 때만 1이 되는 성질.
• 혼동 행렬에서 유도된 조건부 확률 기반의 분류 성능에 대한 확률적 해석을 사용한다.
• MCC 대비 P₄ 및 MCC 대비 F1의 ROC 유사 곡선을 다양한 확률 임계값에서 비교한다.
• 실제 이원 분류기(SVM with Gaussian kernel)에 지표를 적용하여 임계값 선택과 견고성 평가를 수행한다.
• 조화 평균의 교환 법칙과 혼동 행렬 변환의 성질을 이용해 P₄의 레이블 교환에 대한 대칭성을 증명한다.

실험 결과

연구 질문

• RQ1 이원 분류에서 네 가지 핵심 조건부 확률을 평가할 수 있는 단일 지표를 구성할 수 있는가?
• RQ2 어떤 성분 확률이 0에 수렴할 경우 0이 되며, [0,1]로 제한된 대칭적인 지표가 존재하는가?
• RQ3 P₄는 임계값 선택과 극단적인 경우에서의 견고성 측면에서 F1과 MCC보다 어떻게 비교되는가?
• RQ4 특이도와 NPV를 통합함으로써 P₄가 F1을 개선하여 더 신뢰할 수 있는 성능 평가를 가능하게 하는가?

주요 결과

• P₄는 레이블 교환에 대해 대칭적이며, F1의 핵심 한계를 해결한다.
• P₄는 네 가지 조건부 확률 중 하나가 0에 수렴할 경우 0이 되며, 어느 클래스의 성능이 떨어질 경우에도 이를 반영한다.
• 실증 평가에서 P₄는 최적의 임계값 τ = 0.52를 식별했으며, F1의 τ = 0.45와 다름을 보여, 참 음성과 음성 예측값 성분에 대해 더 민감한 성능을 보였다.
• MCC 대비 P₄ 공간에서의 P₄ 곡선은 F1보다 더 작은 개구각을 가지며, 더 보수적이고 균형 잡힌 성능 트레이드오프를 나타낸다.
• P₄는 다른 복합 지표보다 MCC와 더 유사한 행동과 확률적 해석을 보이며, [0,1] 척도를 유지하면서 더 해석 가능한 척도를 제공한다.