[논문 리뷰] Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning

Jize Zhang, Bhavya Kailkhura외 1명|arXiv (Cornell University)|2020. 03. 16.

Anomaly Detection Techniques and Applications인용 수 47

한 줄 요약

이 논문은 Mix-n-Match 보정 전략을 도입하여 앙상블과 구성 기법을 결합해 딥 분류기에 대해 정확하고 데이터 효율적이며 표현력이 풍부한 사후 보정을 달성하고, 데이터 효율적인 KDE 기반 평가 방법을 제시합니다.

ABSTRACT

This paper studies the problem of post-hoc calibration of machine learning classifiers. We introduce the following desiderata for uncertainty calibration: (a) accuracy-preserving, (b) data-efficient, and (c) high expressive power. We show that none of the existing methods satisfy all three requirements, and demonstrate how Mix-n-Match calibration strategies (i.e., ensemble and composition) can help achieve remarkably better data-efficiency and expressive power while provably maintaining the classification accuracy of the original classifier. Mix-n-Match strategies are generic in the sense that they can be used to improve the performance of any off-the-shelf calibrator. We also reveal potential issues in standard evaluation practices. Popular approaches (e.g., histogram-based expected calibration error (ECE)) may provide misleading results especially in small-data regime. Therefore, we propose an alternative data-efficient kernel density-based estimator for a reliable evaluation of the calibration performance and prove its asymptotically unbiasedness and consistency. Our approaches outperform state-of-the-art solutions on both the calibration as well as the evaluation tasks in most of the experimental settings. Our codes are available at https://github.com/zhang64-llnl/Mix-n-Match-Calibration.

연구 동기 및 목표

• 불확실성 보정을 위한 욕구사항 정의(정확도 보존, 데이터 효율성, 표현력).
• calibration 성능을 향상시키면서 정확도를 보존하는 Mix-n-Match 전략(앙상블과 구성) 제안.
• reliable한 보정 평가를 위한 데이터 효율적 KDE 커널 밀도 추정기 개발.
• 다양한 데이터셋과 모델에서 Mix-n-Match가 최신 보정 방법들보다 우수함을 실험적으로 입증.

제안 방법

• 예측값에 적용된 엄격한 단조 함수에 기반한 정확도 보존 보정 맵 도입.
• 표준 TS(Temperature Scaling)보다 표현력을 확장하면서도 정확도와 데이터 효율성을 보존하는 파라메트릭 앙상블 보정(Ensemble Temperature Scaling, ETS) 제안.
• 데이터 앙상블을 통한 비파라메트릭 다중 클래스 단조 회귀(IRM) 개발로 데이터 효율성과 정확도 유지 향상.
• 양적 파라메트릭 보정기와 비파라메트릭 보정기를 구성을 통해 결합(IROvA-TS)하여 두 가지 강점을 활용.
• 신뢰할 수하고 데이터 효율적인 KDE 기반 ECE 추정기를 제공하여 점근적 편향 없음과 일관성 보장.
• 강건한 방법 순위를 위한 차원 독립적인 보정 이득 지표 제공.

실험 결과

연구 질문

• RQ1 보정 방법이 정확도와 데이터 효율성을 해치지 않으면서 보정 품질을 향상시킬 수 있는가?
• RQ2 앙상블과 구성 전략을 어떻게 설계하면 정확도를 해치지 않으면서 표현력을 향상시킬 수 있는가?
• RQ3 데이터 효율적인 KDE 기반 추정기가 작은 데이터 구간에서 신뢰할 수 있는가?
• RQ4 하이브리드 파라메트릭-비파라메트릭 접근법이 일반 벤치마크에서 기존 방법들보다 성능이 우수한가?

주요 결과

• Mix-n-Match 전략은 다수의 데이터셋 및 모델 아키텍처에서 정확도 보존을 입증하면서 데이터 효율성과 표현력을 향상시킨다.
• Ensemble Temperature Scaling(ETS)은 추가 두 매개변수로도 표현력을 향상시키고 정확도 보존 특성을 유지한다.
• 데이터 앙상블이 포함된 다중 클래스 단조 회귀(IRM)는 데이터 효율성과 정확도 보존 측면에서 일대다 단조 접근법보다 우수하다.
• 구성 방법(IROvA-TS)은 비파라메트릭 보정과 TS 기준선을 결합하여 정확도 보존과 보정 개선 모두를 달성한다.
• KDE 기반 ECE 추정기는 히스토그램 기반 추정기보다 작은 샘플 구간에서 우수하며 점근적으로 편향되지 않고 일관성을 가짐이 입증되었다.
• CIFAR-10/100 및 ImageNet에서 Mix-n-Match 방법이 보정 이득을 더 얻고 기저 방법에 비해 정확도가 동등하거나 우수한 결과를 보였다.