[논문 리뷰] Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions

David Lovell, Dimity Miller외 2명|arXiv (Cornell University)|2022. 06. 05.

Data Visualization and Analytics인용 수 5

한 줄 요약

이 논문은 베이지안 사후 예측 분포를 사용하여 혼동 행렬 기반 성능 지표의 불확실성을 시각화함으로써, 작은 표본 크기에서 발생하는 불확실성이 일반적으로 분류기 간의 차이를 압도할 수 있음을 드러낸다. 진짜 양성 및 음성 비율을 베타-이항 분포로 모델링하고 ROC 공간에서 성능 지표의 등고선을 시각화함으로써, 특히 클래스 불균형이나 데이터 부족 상황에서 성능 주장은 이 본질적 불확실성으로 인해 조정되어야 한다는 점을 입증한다.

ABSTRACT

There are strong incentives to build models that demonstrate outstanding predictive performance on various datasets and benchmarks. We believe these incentives risk a narrow focus on models and on the performance metrics used to evaluate and compare them -- resulting in a growing body of literature to evaluate and compare metrics. This paper strives for a more balanced perspective on classifier performance metrics by highlighting their distributions under different models of uncertainty and showing how this uncertainty can easily eclipse differences in the empirical performance of classifiers. We begin by emphasising the fundamentally discrete nature of empirical confusion matrices and show how binary matrices can be meaningfully represented in a three dimensional compositional lattice, whose cross-sections form the basis of the space of receiver operating characteristic (ROC) curves. We develop equations, animations and interactive visualisations of the contours of performance metrics within (and beyond) this ROC space, showing how some are affected by class imbalance. We provide interactive visualisations that show the discrete posterior predictive probability mass functions of true and false positive rates in ROC space, and how these relate to uncertainty in performance metrics such as Balanced Accuracy (BA) and the Matthews Correlation Coefficient (MCC). Our hope is that these insights and visualisations will raise greater awareness of the substantial uncertainty in performance metric estimates that can arise when classifiers are evaluated on empirical datasets and benchmarks, and that classification model performance claims should be tempered by this understanding.

연구 동기 및 목표

• 기계 학습에서 단일 지점 성능 지표에 대한 과도한 의존을 다스리기 위해, 이는 종종 추정 불확실성을 간과하기 때문이다.
• 희귀한 양성 또는 음성 예제가 적을 경우 혼동 행렬 항목의 불확실성이 분류기 간의 차이를 압도할 수 있음을 강조하기 위해.
• 균형 잡힌 정확도 및 MCC와 같은 성능 지표가 불확실성 하에서 어떻게 변하는지 이해하기 위한 시각적이고 확률론적 프레임워크를 제공하기 위해.
• 특히 불균형 또는 데이터가 적은 환경에서 성능 경쟁에서의 초점을 데이터 품질과 대표성으로 전환할 것을 주장하기 위해.
• 이항 및 베타-이항 모델에 기반한 성능 지표의 이산 사후 예측 분포를 시각화하는 상호작용 도구를 개발하기 위해.

제안 방법

• 진짜 양성 및 거짓 양성/음성 수의 유일한 조합에 해당하는 점으로 이진 혼동 행렬을 3차원 조성 레이티스 내에 표현하기.
• 진짜 양성 및 진짜 음성 비율에 따라 성능 지표(예: BA, MCC)의 등고선을 유도하고 시각화함으로써 ROC 공간의 기초를 마련하기.
• 관측된 데이터와 사전 신념을 기반으로 이항 및 베타-이항 모델을 사용하여 혼동 행렬 항목의 정확한 사후 예측 확률 질량 함수(PMF)를 계산하기.
• 혼동 행렬의 사후 PMF를 성능 지표의 사후 PMF로 변환하여 불확실성 인식 비교를 가능하게 하기.
• 다양한 표본 크기와 클래스 불균형에서 지표 값과 그 불확실성이 어떻게 변화하는지 탐색하기 위한 상호작용 시각화 및 애니메이션 제작하기.
• 일대다 분해를 통한 다중 분류로의 프레임워크 확장 및 향후 일반화를 위해 딜레트-다항 분포 고려하기.

실험 결과

연구 질문

• RQ1 작은 데이터셋에서 혼동 행렬 항목의 불확실성이 일반적으로 사용되는 성능 지표인 균형 정확도와 매튜스 상관계수의 신뢰성에 어떻게 영향을 미치는가?
• RQ2 희귀 클래스에 대해 특히 작은 표본 크기일 경우, 경험적 분류기 성능의 차이가 통계적으로 의미가 없어질 정도로 어느 정도까지 영향을 미치는가?
• RQ3 ROC 공간에서 성능 지표 등고선의 기하학적 성질은 기저의 이산 혼동 행렬 분포와 어떻게 관련되는가?
• RQ4 클래스 불균형이 성능 지표의 해석을 어떻게 왜곡하는가? 그리고 불확실성 모델링은 이를 어떻게 명확히 하는가?
• RQ5 지표의 사후 예측 분포를 시각화하면 연구자와 실무자가 분류기 성능 주장의 견고성을 더 잘 평가할 수 있는가?

주요 결과

• 균형 잡힌 정확도 및 매튜스 상관계수와 같은 성능 지표는 특히 불균형한 클래스 분포가 있는 작은 데이터셋에서 상당한 불확실성을 보이다.
• 베타-이항 분포로 모델링된 혼동 행렬 항목의 사후 예측 분포는 동일한 경험적 혼동 행렬이라도 관측된 지표 값이 크게 변할 수 있음을 드러낸다.
• 진짜 양성 및 거짓 양성 비율의 이산 사후 예측 PMF는 양성 또는 음성 예제 수가 적을수록 지표 추정이 본질적으로 불확실하다는 것을 보여준다.
• 시각화 결과는 ROC 공간에서 지표 등고선의 기하학적 성질이 다양한 지표 간의 클래스 불균형에 대한 민감도의 변화를 반영한다는 것을 입증한다.
• 성능 추정의 불확실성은 일반적으로 분류기 간의 차이를 초월하여, 단일 지점 지표에 기반한 성능 순위가 오해의 소지가 있음을 시사한다.
• 저자들은 더 많은 데이터—특히 희귀 클래스에 대한 대표성 있는 데이터—가 불확실성을 줄이기 위해 필수적이며, 현재의 성능 주장은 불확실성 인식 해석과 함께 제공되어야 한다고 결론 내린다.