[논문 리뷰] Calibrating Deep Neural Networks using Focal Loss

Jishnu Mukhoti, Viveka Kulharia외 4명|arXiv (Cornell University)|2020. 02. 21.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 87

한 줄 요약

본 논문은 focal loss로 학습하는 것이 cross-entropy보다 보정이 더 잘 된 심층 신경망을 만들며, focal loss와 온도 스케일링을 결합하면 정확도를 손실하지 않으면서도 최첨단 보정 성능을 달성한다는 것을 보여준다. 또한 보정을 자동화하기 위한 샘플별 gamma 선택 전략도 제시한다.

ABSTRACT

Miscalibration - a mismatch between a model's confidence and its correctness - of Deep Neural Networks (DNNs) makes their predictions hard to rely on. Ideally, we want networks to be accurate, calibrated and confident. We show that, as opposed to the standard cross-entropy loss, focal loss [Lin et. al., 2017] allows us to learn models that are already very well calibrated. When combined with temperature scaling, whilst preserving accuracy, it yields state-of-the-art calibrated models. We provide a thorough analysis of the factors causing miscalibration, and use the insights we glean from this to justify the empirically excellent performance of focal loss. To facilitate the use of focal loss in practice, we also provide a principled approach to automatically select the hyperparameter involved in the loss function. We perform extensive experiments on a variety of computer vision and NLP datasets, and with a wide variety of network architectures, and show that our approach achieves state-of-the-art calibration without compromising on accuracy in almost all cases. Code is available at https://github.com/torrvision/focal_calibration.

연구 동기 및 목표

• 고용량 DNN의 오보정과 cross-entropy 아래 NLL 과적합의 연관성 분석.
• Calibration-향상 학습 목적 객체로 focal loss 제안 및 분석.
• 샘플별 gamma를 자동으로 선택하는 원리 있는 방법 개발.
• 다양한 데이터셋 및 아키텍처에서의 보정 성능 평가와 기존 보정 방법과의 비교.

제안 방법

• 교차 엔트로피를 학습 중 focal loss로 대체하여 예측 분포의 엔트로피를 증가시키고 과신을 감소시킴.
• focal loss를 정규화된 KL 발산과의 상한을 연결하는 관계를 유도하고 이를 통해 암시적 엔트로피 정규화를 정당화.
• ground-truth 확률에 기반해 각 샘플에 대한 gamma 스케줄 정책을 도입하여 그래디언트 크기를 제어함.
• 온도 스케일링 여부에 관계없이 CV 및 NLP 데이터셋에서 보정(ECE, AdaECE, Classwise-ECE) 및 정확도 평가; MMCE, Brier loss, 및 레이블 스무딩과의 비교.
• gamma, p(예측 확률) 및 그래디언트 노름과의 관계를 포함하는 이론적 명제와 함께 focal loss의 그래디언트 역학 및 암시적 가중 정규화를 분석.

실험 결과

연구 질문

• RQ1 focal loss가 다양한 데이터셋과 아키텍처에서 cross-entropy에 비해 모델 보정을 개선하는가?
• RQ2 focal loss가 학습 중 NLL 과적합 및 오답 예측의 신뢰도에 어떤 영향을 주는가?
• RQ3 샘플별 gamma 스케줄이 추가 검증 튜닝 없이도 더 나은 보정을 자동으로 이끌 수 있는가?
• RQ4 focal loss가 OoD 탐지 및 분포 이동에 미치는 영향은 온도 스케일링만 사용하는 경우와 비교해 어떤가?

주요 결과

• Focal loss는 비전 및 NLP 과제의 광범위한 실험에서 cross-entropy, MMCE, Brier loss, 레이블 스무딩보다 더 나은 보정을 보인다.
• 온도 스케일링과 결합 시 focal-loss로 학습된 모델은 정확도를 유지하면서도 최첨단 보정 성능을 달성한다.
• 샘플별 gamma 정책(저 ground-truth 확률일 때 더 높은 gamma, 그렇지 않을 때 낮은 gamma)은 추가 검증 없이도 보정을 개선한다.
• Focal loss는 암시적 정규화 특성을 보여주며, 과신 예측의 그래디언트를 완화하고 오분류 샘플에서의 피크한 분포로 인한 보정 실패를 줄인다.
• focal loss로 학습된 모델은 OoD 탐지에서 우수한성능(AUROC 더 높음)을 보이고 분포 이동 하에서도 강건한 보정을 나타내며, 때때로 온도 스케일링만 사용하는 경우를 능가한다.
• 논문은 Lambert W 함수와의 닫힌 형태 관계를 이용한 gamma 선택의 실용적 가이드와 이론적 통찰을 제공하여 샘플별 gamma 선택을 가능하게 한다.