[논문 리뷰] Distribution-free calibration guarantees for histogram binning without sample splitting

Chirag Gupta, Aaditya Ramdas|arXiv (Cornell University)|2021. 05. 10.

Neural Networks and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 순서통계의 마르코프 성질을 활용하여 샘플 분할 없이 히스토그램 바인딩(균일 질량 바인딩)에 대해 처음으로 분포 자유 보장(calibration guarantees)을 확립한다. 이는 동일한 데이터를 바인딩과 확률 추정에 이중적으로 사용하는 '더블딥(doubledipping)'이 강력한 이론적 캘리브레이션 경계를 제공함을 증명하며, 표준 ECE 지표보다 우수한 캘리브레이션 성능 평가를 위한 새로운 도구인 유효성 플롯(validity plots)을 도입한다.

ABSTRACT

We prove calibration guarantees for the popular histogram binning (also called uniform-mass binning) method of Zadrozny and Elkan [2001]. Histogram binning has displayed strong practical performance, but theoretical guarantees have only been shown for sample split versions that avoid 'double dipping' the data. We demonstrate that the statistical cost of sample splitting is practically significant on a credit default dataset. We then prove calibration guarantees for the original method that double dips the data, using a certain Markov property of order statistics. Based on our results, we make practical recommendations for choosing the number of bins in histogram binning. In our illustrative simulations, we propose a new tool for assessing calibration -- validity plots -- which provide more information than an ECE estimate. Code for this work will be made publicly available at https://github.com/aigen/df-posthoc-calibration.

연구 동기 및 목표

• 샘플 분할 없이 분포 자유 경계를 증명하여 히스토그램 바인딩의 캘리브레이션 보장 이론적 간극을 메운다.
• 특히 저자료 환경에서 샘플 분할의 통계적 비용이 실질적으로 상당함을 보여준다.
• 캘리브레이션 성능 평가를 위한 ECE와의 대안으로 유효성 플롯을 제안한다.
• 이론적 및 실증적 결과를 바탕으로 히스토그램 바인딩의 바인딩 수를 선택하는 실용적 권고를 제공한다.

제안 방법

• 순서통계의 마르코프 성질을 활용하여 샘플 분할 없이 균일 질량 바인딩(UMD)에 대한 분포 자유 캘리브레이션 보장을 유도한다.
• 유효성 플롯을 도입하여 모든 예측 바인에서 캘리브레이션 오차가 ε 이하로 제한될 확률을 추정함으로써 조건부 캘리브레이션 평가를 가능하게 한다.
• 예측 점수의 절대 연속성을 보장하기 위해 UMD의 랜덤화 버전을 사용하여 이론적 마진 캘리브레이션 보장을 향상시킨다.
• 순서통계와 농도 부등식을 기반으로 데이터 분할 없이 기대 캘리브레이션 오차를 경계하는 새로운 이론적 프레임워크를 제안한다.
• UCI 신용 불량 데이터셋에서 UMD를 UMS(샘플 분할 버전), 고정 폭 바인딩, 이소톤 회귀, 스케일링-바인딩과 비교하기 위해 유효성 플롯을 사용한다.
• 시뮬레이션을 통해 이론적 경계를 검증하고, 추정 오차로 인해 경계가 略적으로 과소평가되더라도 이론적 곡선이 실증 성능과 매우 밀접하게 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 동일한 데이터를 바인딩과 확률 추정에 모두 사용할 때(즉, 샘플 분할 없이) 히스토그램 바인딩에 대해 분포 자유 캘리브레이션 보장을 확립할 수 있는가?
• RQ2 이중 사용(더블딥) 히스토그램 바인딩(UMD)의 성능은 샘플 분할 버전(UMS)과 비교해 캘리브레이션 및 통계적 효율성 측면에서 어떻게 다른가?
• RQ3 유효성 플롯은 표준 지표인 ECE보다 더 정보적인 캘리브레이션 평가를 제공할 수 있는가?
• RQ4 UMD에서 바인딩 수와 캘리브레이션 오차 사이의 이론적 관계는 무엇이며, 실용적 구현에 어떻게 기여할 수 있는가?
• RQ5 UMD에 대한 이론적 캘리브레이션 경계는 실제 데이터셋에서 실증 성능과 밀접하게 일치하는가?

주요 결과

• 논문은 순서통계의 마르코프 성질을 활용하여 샘플 분할 없이 균일 질량 바인딩에 대해 처음으로 분포 자유 캘리브레이션 보장을 증명한다.
• 유효성 플롯은 UMD가 이소톤 회귀 및 고정 폭 바인딩과 같은 다른 기준보다 조건부 캘리브레이션에서 일관되게 뛰어난 성능을 보임을 드러낸다.
• n=7K일 때, ε ≤ 0.05인 범위에서 UMD는 스케일링-바인딩을 능가하며, 이론적 경계는 실증 성능과 매우 밀접하게 일치한다. 유의미한 과소평가가 추정 오차로 인해 약간 존재한다.
• UMD의 이론적 곡선은 n=7K에서 실증 유효성 플롯과 교차하며, 이는 경계가 너무 날카롭게 날카로워서 5K개의 테스트 포인트로는 이를 완전히 검증하기에 부족함을 시사한다.
• 결과는 샘플 분할의 통계적 비용이 낮은 자료 환경에서 무시할 수 없으며, 이중 사용이 이론적으로 정당화될 수 있음을 보여준다.
• 제안된 유효성 플롯은 캘리브레이션 오차의 전체 분포를 예측 바인에서 포괄하므로 ECE보다 더 정보적이고 신뢰할 수 있는 캘리브레이션 평가를 제공한다.