[논문 리뷰] Proximity-Informed Calibration for Deep Neural Networks

Miao Xiong, Ailin Deng외 5명|arXiv (Cornell University)|2023. 06. 07.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 깊이 신경망에서 근접성 편향을 완화하기 위해 학습 데이터 이웃과의 샘플 근접도를 기반으로 신뢰도 점수를 조정하는 플러그 앤 플레이 캘리브레이션 방법 ProCal을 소개한다. ProCal은 근접성 인지 캘리브레이션 지표인 PIECE를 제안하며, 장기 꼬리 및 분포 이탈 시나리오를 포함한 다양한 설정에서 일관된 캘리브레이션 향상을 입증한다. 통계적 유의성 수준은 90%이다.

ABSTRACT

Confidence calibration is central to providing accurate and interpretable uncertainty estimates, especially under safety-critical scenarios. However, we find that existing calibration algorithms often overlook the issue of *proximity bias*, a phenomenon where models tend to be more overconfident in low proximity data (i.e., data lying in the sparse region of the data distribution) compared to high proximity samples, and thus suffer from inconsistent miscalibration across different proximity samples. We examine the problem over 504 pretrained ImageNet models and observe that: 1) Proximity bias exists across a wide variety of model architectures and sizes; 2) Transformer-based models are relatively more susceptible to proximity bias than CNN-based models; 3) Proximity bias persists even after performing popular calibration algorithms like temperature scaling; 4) Models tend to overfit more heavily on low proximity samples than on high proximity samples. Motivated by the empirical findings, we propose ProCal, a plug-and-play algorithm with a theoretical guarantee to adjust sample confidence based on proximity. To further quantify the effectiveness of calibration algorithms in mitigating proximity bias, we introduce proximity-informed expected calibration error (PIECE) with theoretical analysis. We show that ProCal is effective in addressing proximity bias and improving calibration on balanced, long-tail, and distribution-shift settings under four metrics over various model architectures. We believe our findings on proximity bias will guide the development of *fairer and better-calibrated* models, contributing to the broader pursuit of trustworthy AI. Our code is available at: https://github.com/MiaoXiong2320/ProximityBias-Calibration.

연구 동기 및 목표

• 다양한 모델에서 근접성 편향—즉, 낮은 근접도(희귀, 분포 외) 샘플을 잘못 분류할 때 과도하게 확신하는 현상—을 식별하고 정량화하는 것.
• 기존의 캘리브레이션 방법(예: 온도 스케일링)이 이 편향을 완화하지 못함으로써 근접도 수준에 따라 일관되지 않은 캘리브레이션을 초래한다는 것을 입증하는 것.
• 신뢰도와 근접도를 동시에 모델링하여 불확실성 추정을 향상시키는 플러그 앤 플레이 캘리브레이션 방법 ProCal을 제안하는 것.
• 표준 ECE보다 더 높은 민감도를 지닌 이론적으로 탄탄한 지표인 PIECE를 도입하여 근접성 편향으로 인한 캘리브레이션 오차를 정량화하는 것.

제안 방법

• ProCal은 신뢰도-근접도 쌍에 대한 커널 밀도 추정(KDE)을 활용한 밀도 비율 추정 방식을 사용하여 올바른 예측와 잘못된 예측를 구분한다.
• 근접도는 특성 공간에서 K개의 가장 가까운 이웃(여기서 K=10–50)과의 평균 L2 거리로 계산되며, 다양한 K 값에서도 안정성이 입증되었다.
• 추론 시 ProCal은 올바른 예측와 잘못된 예측의 KDE 비율을 사용하여 모델의 신뢰도를 재보정하며, 클래스 빈도에 따라 가중치를 적용한다.
• 모델의 입력 형식에 맞게 맞춤형 구현을 통해 연속형 및 이산형 입력 유형을 모두 지원하여 광범위한 배포를 가능하게 한다.
• 대규모 데이터셋에서의 확장성을 위해 효율적인 근접 이웃 검색(예: IVFFlat)을 활용한다.
• 사전 학습된 모델과의 호환성을 확보하기 위해 후행 캘리브레이션 방식을 적용하여 플러그 앤 플레이 성격을 갖춘다.

실험 결과

연구 질문

• RQ1 다양한 모델 아키텍처와 크기에서 근접성 편향이 존재하는가? 특히 실세계의 안전 중심 응용 분야에서 그렇다면?
• RQ2 온도 스케일링과 같은 표준 캘리브레이션 방법이 낮은 근접도 샘플에서의 캘리브레이션 오차를 얼마나 잘 수정하지 못하는가?
• RQ3 PIECE와 같은 근접성 인지 캘리브레이션 지표는 표준 ECE에서 상쇄 효과로 인해 간과되는 캘리브레이션 오차를 탐지할 수 있는가?
• RQ4 ProCal은 균형 잡힌 데이터셋, 장기 꼬리 데이터셋, 분포 이탈된 데이터셋에서 근접성 편향을 얼마나 효과적으로 줄이는가?
• RQ5 K, 거리 측정 방식 등의 하이퍼파라미터 중 어떤 것이 최적의 성능과 내구성을 제공하는가?

주요 결과

• 504개의 ImageNet 사전 학습 모델 전반에 걸쳐 근접성 편향이 널리 존재하며, 특히 트랜스포머 기반 모델이 CNN보다 더 높은 취약성을 보였다.
• 온도 스케일링을 적용한 후에도 낮은 근접도 샘플에서 모델의 과신 확률이 유의미하게 높아지며, 표준 캘리브레이션 방법이 근접성 편향을 해결하지 못한다는 점을 시사한다.
• 낮은 근접도 샘플은 높은 근접도 샘플보다 더 높은 과적합률을 보이며, 희귀하거나 분포 외 샘플에서의 캘리브레이션 오차를 악화시킨다.
• ProCal은 ImageNet, iNaturalist 2021, ImageNet-LT, MultiNLI, ImageNet-C에서 네 가지 지표(ECE, PIECE, 정확도, 신뢰성) 전반에서 일관된 캘리브레이션 향상을 보였다.
• IVFFlat를 사용한 근접도 계산은 약간 더 높은 성능과 뛰어난 효율성을 보였으며, L2, 코사인, IVFPQ 등의 거리 측정 방식 간 성능 차이는 미미했다.
• PIECE는 이론적으로 ECE보다 작아질 수 없으며, 근접성 편향이 표준 ECE에서 상쇄 효과를 일으키지 않을 경우에만 ECE와 동일한 값을 가진다.