Skip to main content
QUICK REVIEW

[논문 리뷰] Mitigating Neural Network Overconfidence with Logit Normalization

Hongxin Wei, Renchunzi Xie|arXiv (Cornell University)|2022. 05. 19.
Adversarial Robustness in Machine LearningComputer Science인용 수 74
한 줄 요약

LogitNorm은 훈련 중 로짓의 노름을 고정으로 정규화하여 과신을 줄이고 OOD 탐지를 크게 향상시키면서 ID 정확도는 유지합니다.

ABSTRACT

Detecting out-of-distribution inputs is critical for safe deployment of machine learning models in the real world. However, neural networks are known to suffer from the overconfidence issue, where they produce abnormally high confidence for both in- and out-of-distribution inputs. In this work, we show that this issue can be mitigated through Logit Normalization (LogitNorm) -- a simple fix to the cross-entropy loss -- by enforcing a constant vector norm on the logits in training. Our method is motivated by the analysis that the norm of the logit keeps increasing during training, leading to overconfident output. Our key idea behind LogitNorm is thus to decouple the influence of output's norm during network optimization. Trained with LogitNorm, neural networks produce highly distinguishable confidence scores between in- and out-of-distribution data. Extensive experiments demonstrate the superiority of LogitNorm, reducing the average FPR95 by up to 42.30% on common benchmarks.

연구 동기 및 목표

  • 신경망의 과신 문제를 OOD 탐지를 위해 동기 부여하고 분석한다.
  • 로짓 크기를 최적화로부터 해리하기 위해 로짓 정규화를 제안한다.
  • 다양한 아키텍처와 데이터셋에서 LogitNorm이 OOD 탐지 및 보정을 향상시킴을 보여준다.

제안 방법

  • 훈련 중 로짓 벡터를 단위 길이로 정규화하고 정규화된 로짓에 대해 교차 엔트로피를 적용한다.
  • 소프트맥스에서 f/ (τ||f||)를 사용하는 등가 손실 L_logit_norm을 도입하여 입력 의존적 온도를 만들어낸다.
  • LogitNorm 손실에 대한 이론적 하한을 제시하고 τ와 최적화에 대한 함의를 논의한다.
  • 실용적 이점을 보이기 위해 로짓 페널티 및 코사인 기반 정규화와 비교한다.
  • MSP, ODIN, Energy, GradNorm 점수 함수를 이용한 표준 OOD 벤치마크로 평가한다.
  • LogitNorm이 ID 정확도를 유지하는 동안 OOD 지표를 개선함을 보여준다.

실험 결과

연구 질문

  • RQ1훈련 중 로짓을 정규화하는 것이 ID 및 OOD 데이터에 대해 신경망의 과신을 완화할 수 있는가?
  • RQ2다양한 아키텍처에서 LogitNorm이 ID 정확도를 보존하면서 OOD 탐지를 향상시키는가?
  • RQ3LogitNorm이 후처리 OOD 점수 방식 및 보정 기법과 어떻게 상호 작용하는가?

주요 결과

  • LogitNorm은 벤치마크 전반에 걸쳐 OOD 탐지의 FPR95를 감소시키고 AUROC/AUPR을 향상시킨다.
  • SVHN을 OOD로 사용하는 CIFAR-10에서 FPR95가 CE의 50.33%에서 LogitNorm의 8.03%로 감소한다.
  • 여섯 개의 OOD 데이터셋에 대해 평균적으로 LogitNorm은 softmax + 교차 엔트로피에 비해 FPR95를 33.87% 감소시킨다.
  • LogitNorm은 ODIN, Energy, GradNorm과 같은 후처리 OOD 점수의 성능을 향상시킨다.
  • ID 정확도는 교차 엔트로피 손실과 비슷하게 유지된다(예: CIFAR-10 ResNet-34: 95.14% vs 95.01%).
  • LogitNorm은 포스트 hoc 온도 스케일링과의 보정 가능성을 향상시킨다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.