[논문 리뷰] Metrics of calibration for probabilistic predictions

Imanol Arrieta-Ibarra, Paman Gujral외 3명|arXiv (Cornell University)|2022. 05. 19.

Leaf Properties and Growth Measurement인용 수 8

한 줄 요약

이 논문은 전통적인 구간 기반 평가 지표의 단점을 보완하기 위해 경험적 누적 校정 오차(ECCEs)를 제안한다. 관측된 확률과 예측된 확률 간의 누적 차이를 분석함으로써, 임의의 구간 설정이나 커널 밴드폭 선택을 피함으로써 통계적 신뢰성과 검정력이 높고, 해상도와 노이즈 간의 트레이드오프 없이 더 나은 성능을 보이며, 엄밀한 이론적 보장을 제공하고 다양한 데이터셋에서 뛰어난 경험적 성능을 보인다.

ABSTRACT

Predictions are often probabilities; e.g., a prediction could be for precipitation tomorrow, but with only a 30% chance. Given such probabilistic predictions together with the actual outcomes, "reliability diagrams" help detect and diagnose statistically significant discrepancies -- so-called "miscalibration" -- between the predictions and the outcomes. The canonical reliability diagrams histogram the observed and expected values of the predictions; replacing the hard histogram binning with soft kernel density estimation is another common practice. But, which widths of bins or kernels are best? Plots of the cumulative differences between the observed and expected values largely avoid this question, by displaying miscalibration directly as the slopes of secant lines for the graphs. Slope is easy to perceive with quantitative precision, even when the constant offsets of the secant lines are irrelevant; there is no need to bin or perform kernel density estimation. The existing standard metrics of miscalibration each summarize a reliability diagram as a single scalar statistic. The cumulative plots naturally lead to scalar metrics for the deviation of the graph of cumulative differences away from zero; good calibration corresponds to a horizontal, flat graph which deviates little from zero. The cumulative approach is currently unconventional, yet offers many favorable statistical properties, guaranteed via mathematical theory backed by rigorous proofs and illustrative numerical examples. In particular, metrics based on binning or kernel density estimation unavoidably must trade-off statistical confidence for the ability to resolve variations as a function of the predicted probability or vice versa. Widening the bins or kernels averages away random noise while giving up some resolving power. Narrowing the bins or kernels enhances resolving power while not averaging away as much noise.

연구 동기 및 목표

• 구간 설정이 임의적이라는 점으로 인해 결과에 큰 영향을 미치고 재현 가능성을 떨어뜨리는 전통적 구간 기반 校정 지표(예: ECE)의 핵심적 한계를 해결하기 위해.
• 히스토그램 또는 커널 기반 접근 방식에서 발생하는 통계적 신뢰도와 해상도 간의 본질적 트레이드오프를 피할 수 있는 校정 평가 방법을 개발하기 위해.
• 모든 파rameter가 없는, 이론적으로 탄탄한 방법으로 잘못된 校정을 측정할 수 있는 통계적으로 신뢰할 수 있고 실용적으로 쉽게 적용할 수 있는 방법을 확립하기 위해.
• 이론과 경험적 사례를 통해 ECCEs가 유한 표본 크기에서 전통적 지표보다 잘못된 校정을 더 잘 탐지함을 보여주기 위해.

제안 방법

• 예측값을 순서대로 정렬한 후, 관측 결과와 예측 확률 간의 차이의 누적합을 계산하여 누적 도표를 구성한다.
• 두 가지 핵심 지표인 ECCE-MAD(영점에서의 최대 절대편차)와 ECCE-R(편차의 범위)를 정의하여, 누적 도표에서 직접적으로 잘못된 校정을 측정한다.
• 참고문헌 [17]의 방법을 활용하여 점근적 이론을 통해 ECCE의 P-값을 유도함으로써, 재표집 또는 부트스트랩핑에 의존하지 않고 통계적 유의성 검정을 가능하게 한다.
• 히스토그램 기반의 구간 설정과 커널 밀도 추정을 비모수적이고 연속적인 누적 차이 함수로 대체하여, 모든 데이터를 이산화하지 않고 그대로 유지한다.
• 실제 데이터셋(예: ImageNet-1000, 야생 돼지, 선글라스)과 시뮬레이션 데이터에 대해 다양한 구간 설정 방식에서 ECE와의 성능 비교를 수행한다.
• ECCEs가 구간 설정에 영향을 받지 않으며, 다양한 표본 크기와 데이터 분포에서도 일관된 성능을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 구간 설정 방식의 선택이 ECE와 같은 전통적 校정 지표의 신뢰성과 일관성에 어떤 영향을 미치는가?
• RQ2 히스토그램 또는 커널 기반 방법에서 발생하는 해상도와 통계적 신뢰도 간의 트레이드오프를 피할 수 있는 校정 지표를 개발할 수 있는가?
• RQ3 관측된 확률과 예측된 확률 간의 누적 차이를 사용하는 것이 校정 평가에서 가지는 이론적 및 경험적 이점은 무엇인가?
• RQ4 ECCEs가 다양한 데이터셋과 표본 크기에서 ECE와 비교해 잘못된 校정을 탐지하는 데 어떻게 성능을 발휘하는가?
• RQ5 ECCEs가 추가 조정이나 재표집 없이도 점근적으로 타당한 P-값을 제공할 수 있는가?

주요 결과

• ECCEs를 통해 임의의 구간 설정이나 커널 밴드폭 선택이 필요 없어지며, 이로 인해 다양한 설정에서 일관성 없고 신뢰할 수 없는 ECE 값이 발생하는 문제를 해결한다.
• ECCE-MAD와 ECCE-R 지표는 ECE보다 통계적으로 더 강력하여, 해상도-신뢰도 트레이드오프가 없기 때문에 동일한 수준의 잘못된 校정을 탐지하기 위해 훨씬 적은 관측값이 필요하다.
• ImageNet-1000 데이터셋(n = 1,281,167)에서 ECCE-MAD와 ECCE-R 모두 111.7 / σₙ에 도달했으며, 이론적 P-값은 이중 정밀도 정확도로 0에 도달하여 잘못된 校정의 심각한 통계적 유의성을 시사한다.
• 야생 돼지(n = 1,300) 및 선글라스(n = 1,300) 데이터셋에서 ECCE-MAD와 ECCE-R은 각각 10.14 및 8.004 / σₙ였으며, 이 또한 P-값이 0이 되어 잘못된 校정에 대한 강력한 통계적 증거를 확인한다.
• ECCE 방법은 데이터 순서에 영향을 받지 않으며, 조정 파rameter가 필요 없어 ECE 기반 방법보다 더 견고하고 쉽게 적용할 수 있다.
• 이론적 분석을 통해 ECCEs가 특히 큰 표본 크기의 극한에서, 구간 설정에 의한 편향과 분산 간의 트레이드오프가 없기 때문에 ECE보다 더 적은 표본 수로도 일致성과 검정력을 확보함을 증명한다.