[논문 리뷰] Better Uncertainty Calibration via Proper Scores for Classification and Beyond

Sebastian Gruber, Florian Buettner|arXiv (Cornell University)|2022. 03. 15.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 보정된 측정 규칙과 보정 오차를 연결하는 새로운 프레임워크를 제안하여 딥러닝에서 불확실성 보정 향상의 일관성 있고 신뢰할 수 있는 추정을 가능하게 한다. 보정된 점수를 활용함으로써 기존 추정기의 편향과 일관성 부족 문제를 해결하며, 특히 데이터가 적은 영역에서 유의미하게 향상된다. 또한 분류를 넘어서 회귀 및 기타 작업으로의 재보정을 보다 강력하고 정확하게 확장한다.

ABSTRACT

With model trustworthiness being crucial for sensitive real-world applications, practitioners are putting more and more focus on improving the uncertainty calibration of deep neural networks. Calibration errors are designed to quantify the reliability of probabilistic predictions but their estimators are usually biased and inconsistent. In this work, we introduce the framework of proper calibration errors, which relates every calibration error to a proper score and provides a respective upper bound with optimal estimation properties. This relationship can be used to reliably quantify the model calibration improvement. We theoretically and empirically demonstrate the shortcomings of commonly used estimators compared to our approach. Due to the wide applicability of proper scores, this gives a natural extension of recalibration beyond classification.

연구 동기 및 목표

• 의료 진단 및 기후 예측과 같은 고위험 응용 분야에서 신뢰할 수 있는 불확실성 보정의 필수적 필요성 해결.
• 작은 테스트 세트에서 특히 두드러지는 편향과 일관성 부족 문제를 보이는 기존 보정 오차 추정기의 근본적 결함 식별.
• 보정 오차를 보정된 점수 규칙과 연결함으로써 이론적 보장을 확보하고 추정 성질을 향상시키는 통합 프레임워크 개발.
• 보정된 점수 프레임워크를 활용해 분류를 넘어서 회귀 및 기타 확률 예측 작업으로의 재보정 확장.
• 의료 및 과학 응용 분야에서 흔히 볼 수 있는 낮은 데이터 환경에서도 강력하고 일관성 있으며 신뢰할 수 있는 보정 향상 정도 측정 방법 제공.

제안 방법

• 보정된 오차의 개념을 도입하여, 각 보정 오차가 보정된 점수 규칙에 엄격히 연결되도록 하여 이론적 일관성과 최적의 추정 성질 확보.
• DSS(Divergence Score for Scoring)와 같은 보정된 점수를 기반으로 하여, 모델 가정이 올바를 경우 일관성 있고 편향이 없는 보정 오차 정의.
• 일대일 재보정 방법(예: Platt 스케일링)을 적용하고, 관련된 보정된 점수를 최적화하는 것이 해당 보정 오차를 최소화하는 것과 동일하다는 것을 보여줌.
• DSS 및 SKCE(Spherical Score)와 같은 보정된 점수들이 분류 및 회귀 설정 모두에서 불확실성 보정 평가 및 향상에 사용될 수 있음을 입증.
• 혼합 밀도 네트워크를 사용하여 회귀에서 분산 예측을 수행하고, 다양한 데이터셋(CIFAR-10, CIFAR-100, ImageNet, UCI Residential, Friedman 1)에 프레임워크를 구현 및 검증.
• 표본 추출 및 다수의 랜덤 시드를 사용하여 다양한 테스트 세트 크기에서 추정 안정성과 강건성을 평가하고, 보정된 점수 기반 추정기의 우수성을 부각함.

실험 결과

연구 질문

• RQ1 왜 일반적으로 사용되는 보정 오차 추정기들인 ECE와 KDE CE는 특히 데이터가 적은 영역에서 편향과 일관성 부족을 보이는가?
• RQ2 불확실성 정량화에서 일관성과 최적의 추정 성질을 확보하기 위해 보정 오차를 어떻게 재정의할 수 있는가?
• RQ3 보정된 점수 규칙을 얼마나 넓게 활용하여 분류를 넘어서도 강건하고 일반화 가능한 보정 오차를 정의할 수 있는가?
• RQ4 제안된 프레임워크는 분류 및 회귀 작업에서 재보정 성과 추정을 어떻게 향상시키는가?
• RQ5 테스트 세트 크기가 작을 경우 보정된 점수 기반 보정 지표가 불확실성 보정 향상 정도를 신뢰할 수 있게 탐지하고 측정할 수 있는가?

주요 결과

• ECE 및 KDE CE와 같은 일반적인 보정 추정기들은 특히 작은 테스트 세트에서 강한 편향과 일관성 부족을 보이며, 재보정 성과를 과소 또는 과소 평가한다.
• 보정된 점수 규칙에 기반한 제안된 보정된 오차 프레임워크는 제한된 데이터 조건에서도 일관성 있고 신뢰할 수 있는 보정 향상 추정을 제공한다.
• DSS(Divergence Score for Scoring)는 분류 및 회귀 모두에서 재보정 효과를 일관되게 반영하지만, SKCE는 분산 관련 향상을 반영하지 못하고 불안정하게 행동한다.
• 예측 분산이 변하는 회귀 작업(예: 수정된 Friedman 1)에서는 보정된 점수 기반 재보정이 분산 예측의 과적합을 성공적으로 수정하여 불확실성 전달을 향상시킨다.
• 검증된 여러 데이터셋과 모델 아키텍처를 통해 정확도를 유지하면서도 보정을 향상시키는 정확한 일대일 재보정이 가능한 프레임워크를 제공한다.
• 실험 결과 보정된 점수 기반 추정기(DSS 등)는 기존 추정기와 달리 테스트 세트 크기 변화에 강건하며, 표본 수가 줄어들수록 점점 악화되는 경향이 없다.