[논문 리뷰] Neural Clamping: Joint Input Perturbation and Temperature Scaling for Neural Network Calibration

Yung-Chen Tang, Pin‐Yu Chen외 1명|arXiv (Cornell University)|2022. 09. 23.

Spectroscopy Techniques in Biomedical and Chemical Research인용 수 4

한 줄 요약

이 논문은 신경망 캘리브레이션을 향상시키기 위해 유니버설 입력 편향과 온도 스케일링 파라미터를 동시에 학습하는 새로운 후처리 校정 방법인 Neural Clamping을 제안한다. 입력과 출력 변환을 동시에 최적화함으로써 Neural Clamping은 최신 기술 수준의 성능을 달성하여, CIFAR-100에서 ResNet-110에 대해 가장 우수한 베이스라인 대비 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 36% 감소시킨다.

ABSTRACT

Neural network calibration is an essential task in deep learning to ensure consistency between the confidence of model prediction and the true correctness likelihood. In this paper, we propose a new post-processing calibration method called Neural Clamping, which employs a simple joint input-output transformation on a pre-trained classifier via a learnable universal input perturbation and an output temperature scaling parameter. Moreover, we provide theoretical explanations on why Neural Clamping is provably better than temperature scaling. Evaluated on BloodMNIST, CIFAR-100, and ImageNet image recognition datasets and a variety of deep neural network models, our empirical results show that Neural Clamping significantly outperforms state-of-the-art post-processing calibration methods. The code is available at github.com/yungchentang/NCToolkit, and the demo is available at huggingface.co/spaces/TrustSafeAI/NCTV.

연구 동기 및 목표

• 의료 진단 및 자율 주행과 같은 안전이 중요한 애플리케이션에서 특히 심각한 문제로 대두되는 딥 뉴럴 네트워크의 열악한 캘리브레이션 문제를 해결하기 위해.
• 기존의 출력 전용 캘리브레이션을 넘어서 입력과 출력 변환을 동시에 최적화하는 새로운 후처리 캘리브레이션 프레임워크를 제안하기 위해.
• 제약 조건이 있는 엔트로피 최대화 관점에서 볼 때, 온도 스케일링만으로는 부족하고, 입력 편향과 온도 스케일링을 병행하는 것이 이론적으로 더 우수한 이유를 정당화하기 위해.
• 다양한 모델과 데이터셋(예: CIFAR-100 및 ImageNet-1K에서의 ResNet과 RegNet)에서 Neural Clamping이 캘리브레이션 성능을 크게 향상시킴을 경험적으로 검증하기 위해.

제안 방법

• Neural Clamping는 사전 훈련된 분류기의 모든 입력에 대해 학습 가능한 유니버설 입력 편향 δ를 적용하고, 출력 로짓에 대해 학습 가능한 온도 스케일링 파라미터 T를 적용한다.
• δ와 T는 캘리브레이션 데이터셋에서 정규화된 포화 손실(focal loss)을 최소화하면서 정규화 항을 적용함으로써 공동 최적화되며, 이는 데이터 기반 적응을 가능하게 한다.
• δ에 대해 일阶 근사 기반의 데이터 기반 초기화를 포함하여 학습 안정성과 수렴 속도를 향상시킨다.
• 추론 시에는 기존 모델 파라미터 θ를 업데이트하지 않고 최적화된 δ*와 T*를 각각 입력과 로짓에 적용한다.
• 이 프레임워크는 어떤 사전 훈련된 K-클래스 분류기와도 호환되며, 편향과 온도에 대해 역전파를 통해 엔드 투 엔드 캘리브레이션을 지원한다.
• 이론적 분석을 통해 Neural Clamping가 온도 스케일링만 사용하는 것보다 더 나은 제약 조건 하의 엔트로피 최대화를 달성함을 증명하여, 그 우월성을 정당화한다.

실험 결과

연구 질문

• RQ1 입력과 출력을 동시에 캘리브레이션하는 것이 기존의 출력 로짓 전용 조정 방법보다 우수한가?
• RQ2 온도 스케일링만 사용하는 것에 비해 입력 편향과 온도 스케일링을 병행하는 데 이론적 이점이 있는가?
• RQ3 입력 편향 δ의 데이터 기반 초기화가 캘리브레이션 과정의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 출력 캘리브레이션과 함께 입력 캘리브레이션을 수행할 경우, 캘리브레이션 오차 감소에 얼마나 기여하는가?
• RQ5 Neural Clamping는 ResNet-110 및 RegNetY-400MF와 같은 다양한 아키텍처와 CIFAR-100 및 ImageNet-1K 등의 다양한 데이터셋에서 일반화되는가?

주요 결과

• CIFAR-100에서 캘리브레이션한 ResNet-110에 대해 Neural Clamping는 가장 성능이 뛰어난 베이스라인 대비 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 36% 감소시켰다.
• 입력과 출력 캘리브레이션을 병행할 경우, ECE가 추가로 29% 감소하여 공동 최적화의 누적 효과를 입증했다.
• 입력 편향 δ의 데이터 기반 초기화는 랜덤 초기화 대비 5회 반복 실험에서 훨씬 더 안정적인 학습과 낮은 분산을 보였다.
• Neural Clamping는 높은 정확도(RegNetY-400MF 기준 72.20%)를 유지하면서도 엔트로피를 향상시키고 ECE를 0.0107로 낮추는 캘리브레이션 지표를 개선했다.
• ResNet-110에서 Neural Clamping는 ECE가 0.0085를 기록하여 출력 전용 캘리브레이션(0.0119) 대비 29% 낮고, 가장 좋은 베이스라인 대비 36% 낮았다.
• 여러 모델과 데이터셋에서 온도 스케일링, 벡터 스케일링, 행렬 스케일링, ODIR 기반 방법을 포함한 최신 기술 수준의 후처리 캘리브레이션 기법들을 모든 평가 지표에서 뛰어나게 성능을 냈다.