[논문 리뷰] AdaFocal: Calibration-aware Adaptive Focal Loss

Arindam Ghosh, Thomas Schaaf외 1명|arXiv (Cornell University)|2022. 11. 21.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

AdaFocal는 검증 세트의 신뢰도 피드백을 사용하여 샘플 그룹별로 포화 손실의 감마 파라미터를 동적으로 조정하는 캘리브레이션 인식형 적응형 포화 손실을 제안한다. 이는 정확도를 희생시키지 않은 채 모델 캘리브레이션을 향상시킨다. 이미지 및 NLP 작업 전반에서 표준 포화 손실과 최신 기술보다 뛰어나며, 분포 외 탐지 성능을 크게 향상시키고 후행 캘리브레이션에서 더 큰 성과를 이끌어낸다.

ABSTRACT

Much recent work has been devoted to the problem of ensuring that a neural network's confidence scores match the true probability of being correct, i.e. the calibration problem. Of note, it was found that training with focal loss leads to better calibration than cross-entropy while achieving similar level of accuracy \cite{mukhoti2020}. This success stems from focal loss regularizing the entropy of the model's prediction (controlled by the parameter $γ$), thereby reining in the model's overconfidence. Further improvement is expected if $γ$ is selected independently for each training sample (Sample-Dependent Focal Loss (FLSD-53) \cite{mukhoti2020}). However, FLSD-53 is based on heuristics and does not generalize well. In this paper, we propose a calibration-aware adaptive focal loss called AdaFocal that utilizes the calibration properties of focal (and inverse-focal) loss and adaptively modifies $γ_t$ for different groups of samples based on $γ_{t-1}$ from the previous step and the knowledge of model's under/over-confidence on the validation set. We evaluate AdaFocal on various image recognition and one NLP task, covering a wide variety of network architectures, to confirm the improvement in calibration while achieving similar levels of accuracy. Additionally, we show that models trained with AdaFocal achieve a significant boost in out-of-distribution detection.

연구 동기 및 목표

• 모델 신뢰도 점수가 진짜 예측 확률과 일치하지 않는 딥 네트워크의 캘리브레이션 문제를 해결하기 위해.
• 일관된 정규화로 인해 특정 샘플에 대해 과소적합 또는 과적합이 발생할 수 있는 고정 감마 포화 손실의 한계를 극복하기 위해.
• 검증 세트에서 모델의 신뢰도 행동에 기반해 포화 손실의 감마 파라미터를 적응적으로 조정하는 방법을 개발하기 위해.
• 다양한 아키텍처와 작업에서 정확도를 유지하거나 향상시키면서 캘리브레이션을 향상시키기 위해.
• 보다 캘리브레이션된 신뢰도 점수를 통해 분포 외 탐지 성능을 향상시키기 위해.

제안 방법

• AdaFocal는 이전 단계의 감마와 검증 세트에서의 모델의 과신뢰 또는 과소신뢰를 기반으로 각 트레이닝 샘플 그룹의 감마 파라미터를 적응적으로 업데이트한다.
• 검증 박스에서 캘리브레이션 오차(신뢰도 대 정확도)를 모니터링하는 피드백 메커니즘을 사용하여 감마 조정을 안내한다.
• 과신뢰가 문제가 될 경우 표준 포화 손실과 역포화 손실 사이를 동적으로 전환한다.
• 감마 조정은 검증 박스별로 적용되어 캘리브레이션 행동에 맞게 그룹별로 맞춤화된 정규화를 가능하게 한다.
• 기존 트레이닝 파이프라인과 통합 가능하며, 아키텍처 변경 최소화로 이미지 및 NLP 작업 모두에서 지원한다.
• 포화 손실의 엔트로피 정규화 성질을 활용하면서도 캘리브레이션 인식 피드백를 통해 그 적응성을 향상시킨다.

실험 결과

연구 질문

• RQ1 포화 손실의 적응형 감마 스케줄링이 정확도를 떨어뜨리지 않고 모델 캘리브레이션을 향상시킬 수 있는가?
• RQ2 검증 세트의 신뢰도 행동에 기반한 동적 감마 조정이 고정 또는 히우리스틱 감마 설정보다 더 나은 캘리브레이션을 이끌어낼 수 있는가?
• RQ3 AdaFocal은 다양한 아키텍처와 데이터셋에서 최신 기술보다 뛰어난 캘리브레이션 인식 트레이닝 방법을 초월할 수 있는가?
• RQ4 AdaFocal은 분포 외 탐지 성능을 어느 정도 향상시키는가?
• RQ5 AdaFocal은 후행 캘리브레이션 기법과 어떻게 상호작용하여 캘리브레이션 오차를 추가로 감소시키는가?

주요 결과

• AdaFocal은 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet, 20 Newsgroups를 포함한 모든 평가된 데이터셋에서 기대 캘리브레이션 오차(ECE)를 크게 감소시켰다.
• Wide-ResNet을 사용한 CIFAR-100에서 AdaFocal은 ECE 1.25%를 기록하여 FLSD-53(1.68%)와 교차 엔트로피(2.10%)를 모두 압도했다.
• AdaFocal로 트레이닝한 모델은 기준 방법 대비 분포 외 탐지 AUC에서 30-50% 향상된 성능을 보였다.
• AdaFocal은 후행 캘리브레이션에서 더 큰 성과를 이끌어내었으며, 온도 스케일링과 조합했을 때 ECE가 추가로 감소했다.
• AdaFocal은 ResNets, DenseNets, BERT 기반 모델을 포함한 여러 아키텍처에서 일관된 향상을 보였다.
• 적응형 감마 스케줄링 메커니즘이 과소신뢰와 과신뢰를 성공적으로 균형 잡았으며, 모든 검증 박스에서 캘리브레이션 오차가 거의 0에 수렴했다.