[논문 리뷰] Attended Temperature Scaling: A Practical Approach for Calibrating Deep Neural Networks

Azadeh Sadat Mozafari, Hugo Siqueira Gomes외 3명|arXiv (Cornell University)|2018. 10. 27.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 16

한 줄 요약

이 논문은 작고 노이즈가 많은 검증 세트 및 매우 정확한 모델과 같은 도전적인 조건에서 신경망의 신뢰도 캘리브레이션을 향상시키기 위해 주의력 가중치 온도 스케일링(ATS)을 제안한다. ATS는 표준 온도 스케일링의 저비용 특성을 유지하면서도 NLL 및 ECE와 같은 캘리브레이션 지표에서 뛰어나게 성능을 발휘한다. 특히 실생활 의료 적용 사례에서 두각을 나타낸다.

ABSTRACT

Recently, Deep Neural Networks (DNNs) have been achieving impressive results on wide range of tasks. However, they suffer from being well-calibrated. In decision-making applications, such as autonomous driving or medical diagnosing, the confidence of deep networks plays an important role to bring the trust and reliability to the system. To calibrate the deep networks' confidence, many probabilistic and measure-based approaches are proposed. Temperature Scaling (TS) is a state-of-the-art among measure-based calibration methods which has low time and memory complexity as well as effectiveness. In this paper, we study TS and show it does not work properly when the validation set that TS uses for calibration has small size or contains noisy-labeled samples. TS also cannot calibrate highly accurate networks as well as non-highly accurate ones. Accordingly, we propose Attended Temperature Scaling (ATS) which preserves the advantages of TS while improves calibration in aforementioned challenging situations. We provide theoretical justifications for ATS and assess its effectiveness on wide range of deep models and datasets. We also compare the calibration results of TS and ATS on skin lesion detection application as a practical problem where well-calibrated system can play important role in making a decision.

연구 동기 및 목표

• 검증 세트가 작거나 노이즈 있는 레이블을 포함할 경우 표준 온도 스케일링(TS)의 낮은 캘리브레이션 성능를 해결한다.
• 표준 TS가 일반화에 실패하는 매우 정확한 딥 네트워크에서 신뢰도 캘리브레이션을 향상시킨다.
• 모델 정확도를 유지하면서도 저시간/메모리 복잡도를 확보하는 후처리 캘리브레이션 방법을 개발한다.
• 의료 진단 및 자율 주행과 같은 안전이 중요한 응용 분야에서 신뢰할 수 있는 불확실성 추정을 가능하게 한다.
• ATS가 저자료 및 노이즈 레이블 상황에서 향상된 강건성 확보에 이르는 이론적 근거를 제공한다.

제안 방법

• 온도 스케일링을 적용하기 전에 로짓을 동적으로 가중하는 학습 가능한 주의 메커니즘을 도입한다.
• 검증 세트에서의 음의 로그우도(NLL)를 최소화하기 위해 온도 파rameter $ T $와 주의력 가중치 $ \theta $를 동시에 최적화한다.
• NLL 최적화 과정에서 더 신뢰도가 높거나 확신도가 높은 샘플에 더 큰 중요도를 할당하기 위해 미분 가능한 주의 모듈을 사용한다.
• 기본 네트워크를 재학습하지 않고도 후처리 캘리브레이션을 유지하여 추론 속도와 정확도를 보존한다.
• softmax 출력 뒤에 플러그인 레이어로 적용하여 기존에 학습된 모델에 쉽게 통합할 수 있다.
• 최종 출력은 $ \text{softmax}(z / T) $이며, 여기서 $ z $는 입력 로짓이고 $ T $는 주의력 가중 NLL 최소화를 통해 학습된다.

실험 결과

연구 질문

• RQ1 딥 네트워크 캘리브레이션에서 작은 검증 세트나 노이즈가 많은 세트에 대해 온도 스케일링이 강건해질 수 있는가?
• RQ2 제안된 주의 메커니즘이 표준 TS가 실패하는 매우 정확한 모델에서 캘리브레이션 성능을 향상시키는가?
• RQ3 다양한 데이터셋과 아키텍처에서 ATS와 표준 TS의 캘리브레이션 지표(NLL, ECE) 간 비교는 어떠한가?
• RQ4 의료 진단 시스템에서 ATS가 정확한 예측과 잘못된 예측을 더 잘 구분함으로써 의사결정의 신뢰도를 향상시키는가?
• RQ5 ATS가 저자료 및 노이즈 레이블 환경에서 안정성과 성능 향상에 이르는 이론적 근거는 무엇인가?

주요 결과

• ISIC 데이터셋에서 ATS는 표준 TS 대비 NLL과 ECE를 크게 감소시켜 ECE%는 0.333%로, TS는 7.978%를 기록했다.
• ISIC에서 학습된 ResNet200에서 ATS는 NLL 0.333과 ECE 3.548%를 달성했으며, TS는 NLL 0.379, ECE 7.978%를 기록해 ATS가 뛰어난 성능을 보였다.
• ATS는 단지 801개의 검증 샘플에서도 안정된 캘리브레이션을 유지하지만, TS는 작은 세트 설정에서 높은 변동성과 불안정성을 보였다.
• ATS는 레이블링 노이즈 상황에서도 뛰어난 강건성을 유지하여, TS가 최적의 온도로 수렴하지 못하는 상황에서도 성능을 유지를 하였다.
• 피부 병변 탐지 응용에서 ATS는 신뢰도 다이어그램의 AUC를 증가시켜 정확한 예측과 잘못된 예측 간의 분리도 향상됨을 보였다.
• 시각적 비교 결과 ATS는 TS보다 정확하게 분류된 샘플과 잘못된 예측 간의 신뢰도 격차를 더 효과적으로 증대시켰다.