[논문 리뷰] Evaluating model calibration in classification

Juozas Vaicenavičius, David Widmann외 4명|arXiv (Cornell University)|2019. 02. 19.

Software Reliability and Analysis Research인용 수 90

한 줄 요약

이 논문은 확률 분류기의 보정(calibration)을 평가하기 위한 일반 이론적 프레임워크를 개발하고, 특히 다차원 신뢰도 다이어그램을 포함하여 잘 보정되지 않은 정도를 정량화하고 시각화하는 refined 방법을 도입한다.

ABSTRACT

Probabilistic classifiers output a probability distribution on target classes rather than just a class prediction. Besides providing a clear separation of prediction and decision making, the main advantage of probabilistic models is their ability to represent uncertainty about predictions. In safety-critical applications, it is pivotal for a model to possess an adequate sense of uncertainty, which for probabilistic classifiers translates into outputting probability distributions that are consistent with the empirical frequencies observed from realized outcomes. A classifier with such a property is called calibrated. In this work, we develop a general theoretical calibration evaluation framework grounded in probability theory, and point out subtleties present in model calibration evaluation that lead to refined interpretations of existing evaluation techniques. Lastly, we propose new ways to quantify and visualize miscalibration in probabilistic classification, including novel multidimensional reliability diagrams.

연구 동기 및 목표

• 안전에 결정적이거나 위험한 분류 작업에서 보정된 확률 추정값의 중요성을 동기 부여한다.
• 확률 이론에 기초한 일반적인 확률적 보정 평가 프레임워크를 개발한다.
• 해석에 영향을 미치는 기존 보정 평가 기법의 미묘한 차이점을 식별한다.
• 오차 보정을 정량화하고 시각화하기 위한 새로운 지표와 시각화 도구를 제안한다.

제안 방법

• 확률 이론에 기반한 확률적 보정 평가 프레임워크를 공식화한다.
• 기존의 보정 지표 및 평가 절차에 존재하는 미묘한 차이를 분석한다.
• 다차원 신뢰도 다이어그램을 포함한 보정 오차를 위한 새로운 시각화 기법을 도입한다.

실험 결과

연구 질문

• RQ1 확률적 분류기의 보정은 어떻게 엄격하게 정의되고 평가될 수 있는가?
• RQ2 일반적인 보정 평가 방법은 어떤 미묘한 차이점을 가지며, 어떻게 개선될 수 있는가?
• RQ3 다클래스 설정에서 보정 오차를 효과적으로 정량화하고 시각화할 수 있는 새로운 지표와 시각화 도구는 무엇인가?

주요 결과

• 확률 이론에 기초한 보정 평가를 위한 이론적 프레임워크가 제안된다.
• 해석을 정교하게 만드는 기존 보정 평가 접근 방식의 미묘한 차이점의 식별.
• 다차원 신뢰도 다이어그램을 포함한 보정 오차를 정량화하고 시각화하기 위한 새로운 방법의 도입.