[논문 리뷰] Verified Uncertainty Calibration

Ananya Kumar, Percy Liang외 1명|arXiv (Cornell University)|2019. 09. 23.

Statistical Methods and Inference참고 문헌 47인용 수 85

한 줄 요약

확률 보정을 위한 스케일링-비닝 보정기를 도입하여 우수한 샘플 복잡도에서 보정된 확률을 달성하고, 스케일링 방법이 보정 오차를 과소 추정하는 경향을 보이며, 보정 오차에 대한 바이어스 제거 추정기를 제공하여 샘플 효율성을 향상시키며; CIFAR-10 및 ImageNet에서 검증.

ABSTRACT

Applications such as weather forecasting and personalized medicine demand models that output calibrated probability estimates---those representative of the true likelihood of a prediction. Most models are not calibrated out of the box but are recalibrated by post-processing model outputs. We find in this work that popular recalibration methods like Platt scaling and temperature scaling are (i) less calibrated than reported, and (ii) current techniques cannot estimate how miscalibrated they are. An alternative method, histogram binning, has measurable calibration error but is sample inefficient---it requires $O(B/ε^2)$ samples, compared to $O(1/ε^2)$ for scaling methods, where $B$ is the number of distinct probabilities the model can output. To get the best of both worlds, we introduce the scaling-binning calibrator, which first fits a parametric function to reduce variance and then bins the function values to actually ensure calibration. This requires only $O(1/ε^2 + B)$ samples. Next, we show that we can estimate a model's calibration error more accurately using an estimator from the meteorological community---or equivalently measure its calibration error with fewer samples ($O(\sqrt{B})$ instead of $O(B)$). We validate our approach with multiclass calibration experiments on CIFAR-10 and ImageNet, where we obtain a 35% lower calibration error than histogram binning and, unlike scaling methods, guarantees on true calibration. In these experiments, we also estimate the calibration error and ECE more accurately than the commonly used plugin estimators. We implement all these methods in a Python library: https://pypi.org/project/uncertainty-calibration

연구 동기 및 목표

• 의료, 기상, NLP 등 중요 응용 분야에서 확률 보정의 필요성에 대한 동기 제시.
• 일반 재보정 방법(Platt scaling, temperature scaling)의 실제 보정 및 오차 추정에 관한 한계를 보임.
• 스케일링과 빈닝을 혼합한 방법을 제안하여 샘플 복잡도가 유리하고 측정 가능한 보정 오차를 달성.
• 오류가 적은 편향 제거 추정기를 포함한 보정 오차의 효율적 추정기를 개발.
• 다중 클래스 데이터셋(CIFAR-10, ImageNet)에서 보정 성능 및 추정 정확성에 대해 경험적으로 검증

제안 방법

• 먼저 G 계열의 함수 g를 data 재보정 데이터에 맞추어 적합시키는 스케일링-비닝 보정기를 제안합니다.
• g(z) 출력에 대해 균일 질량(bin) 부여 방식을 구성하여 변환된 점수를 양자화합니다.
• 출력으로 각 bin당 평균 g(z) 값을 도출하여 g_B를 얻고, f를 g_B∘f를 통해 보정합니다.
• 이론적 보정 한계: CE(g_B) ≤ √(2)·min_g∈G CE(g) + ε 단 n ≥ c(B log B + log B / ε^2) 샘플에서 성립.
• g 출력의 binning이 독립적 조건 하에서 단독의 g보다 보정 오차를 낮추는 것을 보여줍니다.
• 보정 보장 및 히스토그램 binning 대비 샘플 복잡도 개선에 대한 알고리즘과 증명(스케치)을 제공합니다.

실험 결과

연구 질문

• RQ1 스케일링 방법(Platt, 온도 보정)이 실제 보정 오차를 측정하기 어려운 경우에도 확률을 신뢰할 수 있게 보정할 수 있는가?
• RQ2 샘플 효율성과 검증 가능한 보정 보장을 모두 달성하는 재보정 방법을 설계할 수 있는가?
• RQ3 스케일링과 히스토그램 유사 빈닝을 결합한 스케일링-비닝이 기존 방법보다 보정 오차 및 측정 가능성에서 더 나은가?
• RQ4 다중 클래스 설정에서 특히 보정 오차를 더 효율적으로 추정하는 방법은 무엇인가?
• RQ5 빈닝 전략이 보정 오차 측정 및 MSE에 미치는 영향은 무엇인가?

주요 결과

• Scaling-binning 보정기가 CIFAR-10 및 ImageNet에서 B=100일 때 히스토그램 빈닝보다 보정 오차가 낮습니다.
• 이 방법은 보정 오차 ε를 달성하기 위해 O(1/ε^2 + B) 샘플이 필요하며, 히스토그램 빈닝의 O(B/ε^2)보다 개선됩니다.
• 빈(bin)으로 나눈 g 출력은 보정 오차 추정을 효율화하여 ε-근사 보장을 갖는 추정치를 가능하게 합니다.
• 바이어스 제거 추정기는 보정 오차 추정의 샘플 복잡도를 O(B)에서 O(√B)로 감소시킵니다.
• 실험에서 CIFAR-10에서 35%, ImageNet에서 5배 더 낮은 보정 오차를 보였으며(B=100), 스케일링 방법은 실제 보정 보장을 제공하지 못했습니다.
• 연구는 해당 URL에서 불확실성 보정을 위한 오픈 소스 파이썬 라이브러리를 제공합니다.