[논문 리뷰] Classifier Calibration: A survey on how to assess and improve predicted class probabilities

Telmo M. Silva Filho, Hao Song외 4명|arXiv (Cornell University)|2021. 12. 20.

Anomaly Detection Techniques and Applications인용 수 14

한 줄 요약

이 종합적 서베이는 이진 및 다중분류 설정에서 분류기 캘리브레이션에 대한 포괄적이고 최신의 개요를 제공하며, 평가 지표, 시각화 기법, 등기수 캘리브레이션, 플랫팅 스케일링, 신경망 기반 캘리브레이션 레이어와 같은 사후 캘리브레이션 방법을 포함한다. 본서는 적절한 스코링 규칙, 통합 평가 프레임워크를 강조하며, 예측 불확실성 정량화를 향상시키기 위한 목적으로 PyCalib라는 오픈소스 파이썬 라이브러리를 소개한다.

ABSTRACT

This paper provides both an introduction to and a detailed overview of the principles and practice of classifier calibration. A well-calibrated classifier correctly quantifies the level of uncertainty or confidence associated with its instance-wise predictions. This is essential for critical applications, optimal decision making, cost-sensitive classification, and for some types of context change. Calibration research has a rich history which predates the birth of machine learning as an academic field by decades. However, a recent increase in the interest on calibration has led to new methods and the extension from binary to the multiclass setting. The space of options and issues to consider is large, and navigating it requires the right set of concepts and tools. We provide both introductory material and up-to-date technical details of the main concepts and methods, including proper scoring rules and other evaluation metrics, visualisation approaches, a comprehensive account of post-hoc calibration methods for binary and multiclass classification, and several advanced topics.

연구 동기 및 목표

• 연구자 및 실무자에게 분류기 캘리브레이션에 대한 통합적이고 접근성 있고 기술적으로 상세한 개요를 제공하기 위해.
• 특히 다중분류 설정에서의 캘리브레이션 개념적 모호성을 명확히 하여, 신뢰도 캘리브레이션과 전체 클래스별 캘리브레이션 간의 차이를 포함한 개념을 명확히 하기 위해.
• 기존 및 최근의 캘리브레이션 방법(등기수, 플랫팅, 분할, 베타, 신경망 기반 캘리브레이션 접근법 포함)을 제시하고 비교하기 위해.
• PyCalib를 개발하고 공개하여 캘리브레이션 지표, 시각화, 캘리브레이션 파이프라인을 구현하기 위한 오픈소스 파이썬 라이브러리로 제공하기 위해.
• 최적의 분할 전략 선택, 분포 이탈 입력에 대한 강건성, 이차 불확실성 모델링과 같은 캘리브레이션 분야의 열린 문제를 규명하기 위해.

제안 방법

• 논문은 고전적 및 현대적 캘리브레이션 기법을 서베이하며, 평가 및 학습 목표로 적절한 스코링 규칙을 강조한다.
• 잘못된 캘리브레이션을 정량화하기 위한 핵심 지표로 클래스별 및 신뢰도 기반 Expected Calibration Error (ECE) 를 도입한다.
• 예측 확률의 분할 범위에서의 잘못된 캘리브레이션 패tern을 진단하기 위해 신뢰도 다이어그램을 시각적 도구로 사용한다.
• 등기수 회귀, 플랫팅 스케일링, 분할 기반 접근법과 같은 사후 캘리브레이션 방법을 체계적으로 서베이하고 비교한다.
• 신경망 기반 캘리브레이션 레이어를 도입하여 다중분류 캘리브레이션을 위한 엔드 투 엔드 솔루션을 제공하며, 플랫팅 스케일링을 K-클래스 문제로 확장한다.
• 저자들은 다음과 같은 파이프라인을 제안한다: ECE와 신뢰도 다이어그램을 통해 캘리브레이션을 평가하고, 잘못된 캘리브레이션 여부를 테스트한 후, 사후 캘리브레이터를 적용하여 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 이진 및 다중분류 설정에서 분류기 캘리브레이션은 어떻게 일관되게 정의되고 평가될 수 있는가?
• RQ2 신뢰도 캘리브레이션과 전체 클래스별 캘리브레이션 간의 주요 차이점은 무엇이며, 이러한 구분이 왜 중요한가?
• RQ3 다양한 잘못된 캘리브레이션 패턴에 대해 어떤 사후 캘리브레이션 방법이 가장 잘 성능을 내며, 어떻게 선택해야 하는가?
• RQ4 적절한 스코링 규칙이나 전용 손실 함수를 사용하여 학습 중에 캘리브레이션을 어떻게 향상시킬 수 있는가?
• RQ5 분포 이탈 또는 분포 외 입력에 대한 강건성에 취약한 사후 캘리브레이션 방법의 한계는 무엇인가?

주요 결과

• 로그 손실과 같은 적절한 스코링 규칙는 잘 캘리브레이션된 확률 추정치를 장려하기 때문에, 모델 학습 및 평가 모두에 효과적이다.
• 등기수 회귀 및 플랫팅 스케일링과 같은 사후 캘리브레이션 방법은 잘 훈련된 모델에 적용될 경우 Expected Calibration Error (ECE) 를 크게 감소시킬 수 있다.
• 다중분류 캘리브레이션은 이진 분류보다 더 복잡하며, 일대다 작업으로 분해할 경우 정규화된 확률이 캘리브레이션되지 않을 수 있으므로, 원천적인 다중분류 방법이 필요하다.
• PyCalib 라이브러리는 캘리브레이션 평가, 시각화, 적용을 위한 통합 프레임워크를 제공하며, 다양한 캘리브레이션 기법과 지표를 지원한다.
• ECE 계산에서 분할 전략 또는 분할 수의 표준 방법이 없으며, 교차 검증을 통해 이러한 하이퍼파라미터를 튜닝하는 데 도움이 될 수 있다.
• 현재의 사후 캘리브레이션 방법은 분포 이탈 입력에 대한 강건성을 향상시키지 못하며, 이는 예측 불확실성 추정 분야의 핵심 열린 도전 과제로 남아 있다.