[논문 리뷰] Calibration tests in multi-class classification: A unifying framework

David Widmann, Fredrik Lindsten외 1명|arXiv (Cornell University)|2019. 10. 24.

Advanced Statistical Methods and Models인용 수 27

한 줄 요약

이 논문은 다중 분류에서 校정 검증을 위한 통합 프레임워크를 제안하며, 행렬 기반 커널을 사용한 校정 측정치를 활용하여 유의미한 p-값 경계와 근사치를 제공하는 일관적이고 편향이 없는 추정기를 도입한다. 귀무가설인 校정성에 대한 근사치와 경계를 제공함으로써 校정 오차 추정의 해석 가능성을 향상시킨다. 주요 기여는 校정 오차 추정의 해석 가능성 향상이며, 실험 결과는 현대적인 딥 뉴럴 네트워크가 p-값 근사치가 거의 0에 가까운 것으로 나타나 일관되게 校정되지 않았음을 보여준다.

ABSTRACT

In safety-critical applications a probabilistic model is usually required to be calibrated, i.e., to capture the uncertainty of its predictions accurately. In multi-class classification, calibration of the most confident predictions only is often not sufficient. We propose and study calibration measures for multi-class classification that generalize existing measures such as the expected calibration error, the maximum calibration error, and the maximum mean calibration error. We propose and evaluate empirically different consistent and unbiased estimators for a specific class of measures based on matrix-valued kernels. Importantly, these estimators can be interpreted as test statistics associated with well-defined bounds and approximations of the p-value under the null hypothesis that the model is calibrated, significantly improving the interpretability of calibration measures, which otherwise lack any meaningful unit or scale.

연구 동기 및 목표

• 이중 분류 및 가장 확신 있는 예측에 국한된 해석 가능하고 통계적으로 타당한 校정 측정치의 부족을 해결하기 위해.
• 기존의 ECE, MCE, MMCE와 같은 校정 지표를 다중 분류 설정에 적용 가능한 통합 프레임워크로 일반화하기 위해.
• 행렬 기반 커널에 기반한 校정 측정치를 위한 일관적이고 편향이 없는 추정기를 개발하기 위해.
• 이론적으로 탄탄한 p-값 근사치와 경계를 제공하여 校정 오차 추정의 해석 가능성을 향상시키기 위해.
• 제안된 프레임워크를 사용하여 현대적인 딥 뉴럴 네트워크의 校정성을 실증적으로 평가하고 광범위한 校정 불일치를 드러내기 위해.

제안 방법

• 행렬 기반 커널에 기반한 일반적인 校정 측정치의 클래스를 제안하여 기존 지표들인 ECE 및 MMCE의 통합 처리를 가능하게 한다.
• SKCE(Spherical Kernel Calibration Error)를 위한 추정기를 도입하며, 미약한 정규성 조건 하에 일관성과 편향 없음을 보장한다.
• 모델의 校정성에 대한 귀무가설 하에서 p-값을 추정하기 위해 일관성 있는 리샘플링과 渐近 분포 근사치를 활용한다.
• 점근적 근사치가 신뢰할 수 없을 경우 보수적인 추론을 가능하게 하기 위해 p-값에 대한 분포에 의존하지 않는 경계를 유도한다.
• 생성 모델을 사용한 통제 실험을 통해 추정기와 p-값 근사치의 통계적 성질을 검증한다.
• 다양한 클래스 수와 샘플 수에서의 계산 효율성과 확장성을 평가하기 위해 Julia 기반 구현을 활용한다.

실험 결과

연구 질문

• RQ1 기존의 이진 분류 및 상위 예측 설정에서의 校정 측정치는 다중 분류 설정에 대한 통합 프레임워크로 일반화될 수 있는가?
• RQ2 제안된 커널 기반 추정기가 유한 표본 조건 하에서 일관적이고 편향 없는 추정을 제공하는가?
• RQ3 리샘플링과 점근 이론에서 유도된 p-값 근사치와 경계는 校정 오차 추정의 해석 가능성을 향상시키는가?
• RQ4 제안된 프레임워크로 평가했을 때 현대적인 딥 뉴럴 네트워크의 校정성은 어떻게 되는가?
• RQ5 고차원 확률 단체에서 다수의 클래스를 포함한 대규모 다중 분류 문제에 대해 제안된 추정기는 계산적으로 실현 가능한가?

주요 결과

• SKCE를 위한 제안된 추정기는 일관적이고 편향이 없으며, 생성 모델을 사용한 통제 실험에서 뛰어난 실증 성능을 보였다.
• 추정기 $\widehat{\mathrm{SKCE}}_{\mathrm{uq}}$의 점근 분포 기반 p-값 근사치는 평균적으로 진짜 p-값을 잘 근사하며, 강력한 통계적 검정을 가능하게 했다.
• CIFAR-10에서 평가된 모든 현대 신경망에서 $\widehat{\mathrm{SKCE}}_{\mathrm{uq}}$를 사용한 p-값 근사치는 0이었으며, 校정성에 대한 귀무가설에 대한 강력한 반증을 보였다.
• $\widehat{\mathrm{SKCE}}_{\mathrm{ul}}$를 사용한 p-값 근사치는 ResNet18의 경우 0.18에서 GoogLeNet의 경우 0.91까지 다양하게 변동하여 다양한 정도의 경험적 校정 오차를 반영했다.
• p-값에 대한 분포에 의존하지 않는 경계는 일반적으로 느슨했으며, 0.99에서 1 사이에 위치하여 보수적이지만 실용적인 추론에는 유용하지 않았다.
• 계산 평가 결과, $\widehat{\mathrm{SKCE}}_{\mathrm{b}}$ 및 $\widehat{\mathrm{SKCE}}_{\mathrm{uq}}$와 같은 추정기는 1000개의 클래스와 1000개의 샘플 조건에서도 0.1초 이내에 평가 가능하여 확장성을 입증했다.