[논문 리뷰] Calibration of Neural Networks

Ruslan Vasilev, A. G. D’yakonov|arXiv (Cornell University)|2023. 03. 19.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경망을 위한 신뢰도 캘리브레이션 방법에 대한 종합적인 서베이와 실험적 평가를 제시하며, 히스토그램 분할, 등온성 회귀, 온도 스케일링과 같은 사후 보정 기법들과 손실 함수를 수정한 학습 시기 기법들을 비교한다. 주요 기여는 다양한 데이터셋과 아키텍처를 통한 체계적인 벤치마크로, 온도 스케일링과 향상된 교차 엔트로피 손실이 캘리브레이션을 크게 향상시킨다는 것을 보여주며, V-스케일링과 M-스케일링-b 방법이 CIFAR-100과 TinyImageNet에서 최신 기준 Brier 점수를 달성한다.

ABSTRACT

Neural networks solving real-world problems are often required not only to make accurate predictions but also to provide a confidence level in the forecast. The calibration of a model indicates how close the estimated confidence is to the true probability. This paper presents a survey of confidence calibration problems in the context of neural networks and provides an empirical comparison of calibration methods. We analyze problem statement, calibration definitions, and different approaches to evaluation: visualizations and scalar measures that estimate whether the model is well-calibrated. We review modern calibration techniques: based on post-processing or requiring changes in training. Empirical experiments cover various datasets and models, comparing calibration methods according to different criteria.

연구 동기 및 목표

• 의료 및 자율주행 시스템과 같은 실생활 응용 분야에서 신경망 예측의 신뢰도 추정에 대한 핵심적인 필요성을 해결한다.
• 현대 딥러닝 아키텍처에서 사후 및 학습 기반 기법을 체계적으로 평가하고 비교한다.
• 여러 데이터셋(CIFAR-10, CIFAR-100, TinyImageNet, ImageNet)과 모델을 통한 통합된 실험적 벤치마크를 제공하여 다양한 조건 하에서의 캘리브레이션 성능을 평가한다.
• 교차 엔트로피, 포칼 손실, 레이블 스무딩 등의 다양한 손실 함수가 모델의 캘리브레이션과 일반화에 미치는 영향을 분석한다.
• 신뢰도 평가를 위한 명확한 방법론을 수립하며, 시각화(신뢰도 다이어그램)와 척도 기반 지표(Brier 점수, ECE)를 활용한다.

제안 방법

• 예측 신뢰도가 진짜 정확도와 일치함을 보장하기 위해 공식 기준을 정의한다: P(y = ŷ | ŷ의 신뢰도 = p) = p (모든 p ∈ [0,1]에 대해), 이를 통해 예측된 신뢰도가 진짜 정확도와 일치하도록 보장한다.
• 신뢰도 다이어그램(캘리브레이션 곡선)을 사용하여, 신뢰도 점수를 구간으로 나누고 각 구간에서 평균 신뢰도 대 실제 정확도를 그려 캘리브레이션 상태를 시각적으로 평가한다.
• Expected Calibration Error (ECE)와 Brier Score와 같은 척도 기반 지표를 사용하여 캘리브레이션 품질을 정량적으로 평가하며, 낮은 값일수록 더 나은 캘리브레이션을 의미한다.
• 히스토그램 분할, 등온성 회귀, 온도 스케일링(T-스케일링)과 같은 사후 보정 기법을 구현하며, 이는 로짓에 대한 단조 증가 변환을 학습한다.
• V-스케일링과 M-스케일링-b와 같은 새로운 변형을 도입하고 평가하며, 이는 다중 클래스 문제에서의 캘리브레이션 향상을 위해 추가 제약 조건을 적용한 로짓 스케일링을 적용한다.
• 교차 엔트로피, 포칼 손실(FL), 레이블 스무딩(LS) 등의 수정된 손실 함수를 사용해 모델을 훈련시켜, 사후 처리 없이도 내재된 캘리브레이션 성질을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 신경망 아키텍처에서 히스토그램 분할, 등온성 회귀, 온도 스케일링 등의 사후 보정 기법들이 캘리브레이션 성능 측면에서 어떻게 비교되는가?
• RQ2 포칼 손실과 레이블 스무딩과 같은 학습 시기 손실 수정이 딥 뉴럴 네트워크의 내재적 캘리브레이션에 어떤 영향을 미치는가?
• RQ3 Brier 점수와 Expected Calibration Error (ECE)와 같은 캘리브레이션 지표가 다양한 데이터셋과 모델 유형에서 시각적 신뢰도 다이어그램과 얼마나 상관이 있는가?
• RQ4 모델 아키텍처와 데이터셋의 복잡성(CIFAR-10 대비 ImageNet)이 캘리브레이션 기법의 효과성에 얼마나 영향을 미치는가?
• RQ5 다양한 벤치마크에서 캘리브레이션 향상과 일반화 성능 사이의 최적의 트레이드오���을 달성하는 캘리브레이션 방법은 무엇인가?

주요 결과

• 온도 스케일링(T-스케일링)은 모든 데이터셋과 모델에서 Expected Calibration Error (ECE) 감소 측면에서 히스토그램 분할 및 등온성 회귀를 일관되게 능가한다.
• 포칼 손실(FL)과 레이블 스무딩(LS)으로 훈련된 모델은 표준 교차 엔트로피(CE)보다 유의미하게 더 나은 내재적 캘리브레이션 성질을 보이며, CIFAR-100에서 Brier 점수를 최대 20%까지 감소시킨다.
• CIFAR-100에서 V-스케일링-b 방법은 0.596의 가장 낮은 Brier 점수를 기록하여, 모든 다른 사후 보정 기법과 일부 학습 시기 기반 기준보다 뛰어난 성능을 보였다.
• 레이블 스무딩(LS 0.05)을 사용한 ResNet50은 TinyImageNet에서 Brier 점수 0.621을 기록하여 표준 CE 기준(0.645)보다 유의미하게 향상되었으며, 정규화의 이점을 보여주었다.
• V-스케일링과 M-스케일링-b 방법은 모든 데이터셋에서 뛰어난 성능을 보였으며, TinyImageNet에서는 Brier 점수가 항상 0.7 이하였고, MobileNetV2의 ImageNet에서는 0.32 이하로 유지되었다.
• 신뢰도 다이어그램은 포칼 손실과 레이블 스무딩으로 훈련된 모델이 더 평탄하고 대각선에 가까운 캘리브레이션 곡선을 보이며, 예측된 신뢰도와 실제 정확도 간의 일치가 더 잘 이루어져 있음을 확인했다.