[논문 리뷰] Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning

Kanil Patel, William Beluch외 3명|arXiv (Cornell University)|2020. 06. 23.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 12

한 줄 요약

이 논문은 다중 클래스 불확실성 캘리브레이션을 최적화하기 위해 진정한 레이블과 양자화된 로짓 간의 상호정보를 최대화하는 정보이론적 방법인 I-Max binning을 제안한다. 이는 이론적 바인드 에지 최적화를 통해 샘플 효율성을 높이며, 특히 작은 캘리브레이션 세트(예: 1,000개 샘플)에서도 최신 기법들을 능가한다. ImageNet 및 CIFAR 벤치마크에서 성능을 높이면서도 모델 정확도를 유지한다.

ABSTRACT

Post-hoc multi-class calibration is a common approach for providing high-quality confidence estimates of deep neural network predictions. Recent work has shown that widely used scaling methods underestimate their calibration error, while alternative Histogram Binning (HB) methods often fail to preserve classification accuracy. When classes have small prior probabilities, HB also faces the issue of severe sample-inefficiency after the conversion into K one-vs-rest class-wise calibration problems. The goal of this paper is to resolve the identified issues of HB in order to provide calibrated confidence estimates using only a small holdout calibration dataset for bin optimization while preserving multi-class ranking accuracy. From an information-theoretic perspective, we derive the I-Max concept for binning, which maximizes the mutual information between labels and quantized logits. This concept mitigates potential loss in ranking performance due to lossy quantization, and by disentangling the optimization of bin edges and representatives allows simultaneous improvement of ranking and calibration performance. To improve the sample efficiency and estimates from a small calibration set, we propose a shared class-wise (sCW) calibration strategy, sharing one calibrator among similar classes (e.g., with similar class priors) so that the training sets of their class-wise calibration problems can be merged to train the single calibrator. The combination of sCW and I-Max binning outperforms the state of the art calibration methods on various evaluation metrics across different benchmark datasets and models, using a small calibration set (e.g., 1k samples for ImageNet).

연구 동기 및 목표

• 기존 히스토그램 바인딩(HB) 기법의 다중 클래스 캘리브레이션에서의 한계, 특히 샘플 비효율성과 분류 정확도 저하 문제를 해결하기 위해.
• 온도 스케일링과 히스토그램 밀도 추정(HDE) 기법에서 바인딩의 편향-분산 트레이드오���에서 기인한 캘리브레이션 오차의 과소평가 문제를 해결하기 위해.
• 캘리브레이션 성능을 동시에 최적화하면서도, 캘리브레이션 데이터가 제한된 경우에도 높은 분류 정확도를 유지하는 방법을 개발하기 위해.
• 유사한 클래스(예: 동일한 카테고리 또는 사전 확률) 간에 학습 데이터를 통합하여 샘플 효율성을 높이는 공유 클래스별(sCW) 캘리브레이션 전략을 도입하기 위해.
• 작은 캘리브레이션 세트에 대해 안정적이고 수렴 보장이 되는 신뢰할 수 있는 캘리브레이션 방법을 제공하여 균일한 바인딩 전략의 단점을 피하기 위해.

제안 방법

• I-Max binning은 진정한 레이블과 양자화된 로짓 간의 상호정보를 최대화하는 정보이론적 최적화로 정의되며, 바인딩 과정에서 예측 정보 손실을 최소화한다.
• 이 방법은 상호정보를 최대화하도록 반복적으로 바인드 에지를 최적화함으로써, 각 바인드에 충분한 캘리브레이션 샘플이 확보되어 캘리브레이션 신뢰도가 향상된다.
• 바인드 에지와 바인드 대표값은 별도로 최적화되어 캘리브레이션과 순위 정확도의 목적이 분리되며, 이로 인해 손실적인 양자화로 인한 성능 저하를 방지한다.
• 공유 클래스별(sCW) 캘리브레이션 전략이 도입되었으며, 이는 유사한 클래스들(예: 유사한 클래스 사전 확률을 가진)에 대해 하나의 캘리브레이터를 공유하여 캘리브레이션 데이터를 통합함으로써 샘플 효율성을 향상시킨다.
• 각 클래스별로 one-vs-rest(OvR) 캘리브레이션을 수행하며, I-Max binning을 각 클래스의 예측 로짓에 독립적으로 적용하여 클래스별 캘리브레이션을 보장한다.
• Expected Calibration Error(ECE), NLL, Brier 점수, 상위 1위 정확도를 사용하여 평가하였으며, 아블레이션 연구를 통해 기준 바인딩 및 스케일링 기법보다 우수함을 확인하였다.

실험 결과

연구 질문

• RQ1 바인드 에지에 대한 상호정보 최대화가 다중 클래스 설정에서 보다 나은 캘리브레이션 성능를 달성하면서도 분류 정확도를 유지할 수 있는가?
• RQ2 작은 캘리브레이션 데이터 환경에서 I-Max binning이 전통적인 히스토그램 바인딩(등용적/등질량) 및 스케일링 기법보다 캘리브레이션 오차와 정확도 측면에서 어떻게 비교되는가?
• RQ3 공유 클래스별(sCW) 캘리브레이션 전략이 캘리브레이션 품질을 훼손하지 않고 샘플 효율성을 얼마나 향상시키는가?
• RQ4 I-Max binning이 ECE 평가에 사용되는 히스토그램 밀도 추정(HDE)에서 기인한 편향-분산 트레이드오플을 제거하는가?
• RQ5 바인드 에지와 대표값 최적화의 분리가 동시에 캘리브레이션 성능 향상과 순위 성능 향상에 기여하는가?

주요 결과

• I-Max binning은 모든 벤치마크에서 가장 낮은 Expected Calibration Error(ECE)를 기록하였으며, 1,000개의 캘리브레이션 샘플을 사용할 경우 ImageNet에서 0.0224 ± 0.0016의 ECE를 기록했다.
• 표준 히스토그램 바인딩(등용적: 0.0288 ± 0.0039) 대비 ECE를 50% 이상 감소시켰으며, 상위 1위 정확도는 96.28 ± 0.19를 유지했다.
• 단지 1,000개의 캘리브레이션 샘플만으로도 I-Max w. GP는 CIFAR100에서 0.0218 ± 0.0012의 상위 1위 ECE를 기록하여, BWS 및 ETS-MnM를 포함한 모든 베이스라인 기법을 능가했다.
• sCW 전략은 낮은 사전 확률을 가진 클래스에 대해서도 효과적인 캘리브레이션을 가능하게 하여, 희귀 클래스에서 독립적 바인딩 대비 ECE를 최대 50%까지 감소시켰다.
• I-Max binning는 안정적으로 수렴하며, 여러 랜덤 시드에 걸쳐 안정적인 성능을 보였으며, 바인드 수에 민감한 HDE 기반 ECE 추정과는 달리 우수한 수렴 성능을 보였다.
• ImageNet 및 CIFAR 데이터셋에서 I-Max binning는 ECE 및 불확실성 추정 지표(NLL, Brier 점수) 모두에서 최신 기술(GP, BWS, ETS-MnM)을 능가하는 성능을 보였다.