[논문 리뷰] On the Importance of Gradients for Detecting Distributional Shifts in the Wild

Rui Huang, Andrew Geng외 1명|arXiv (Cornell University)|2021. 10. 01.

Anomaly Detection Techniques and Applications참고 문헌 44인용 수 38

한 줄 요약

GradNorm은 softmax 예측과 uniform 타깃 간 KL 발산의 그래디언트 노름을 OOD 점수로 사용하여 gradient 공간 정보를 활용해 ImageNet 벤치마크에서 최첨단 탐지를 달성한다.

ABSTRACT

Detecting out-of-distribution (OOD) data has become a critical component in ensuring the safe deployment of machine learning models in the real world. Existing OOD detection approaches primarily rely on the output or feature space for deriving OOD scores, while largely overlooking information from the gradient space. In this paper, we present GradNorm, a simple and effective approach for detecting OOD inputs by utilizing information extracted from the gradient space. GradNorm directly employs the vector norm of gradients, backpropagated from the KL divergence between the softmax output and a uniform probability distribution. Our key idea is that the magnitude of gradients is higher for in-distribution (ID) data than that for OOD data, making it informative for OOD detection. GradNorm demonstrates superior performance, reducing the average FPR95 by up to 16.33% compared to the previous best method.

연구 동기 및 목표

• 현실 세계 배포에서의 out-of-distribution(OOD) 탐지의 동기를 제시하고 연구한다.
• 그래디언트 공간이 ID 대 OOD 구분에 informative 신호를 가지는지 조사한다.
• GradNorm을 간단하고 라벨- 및 OOD-에 구애받지 않는 그래디언트 기반 스코어링 방법으로 제안한다.
• 이론적으로 및 실험적으로 기능 공간과 출력 공간의 그래디언트 정보를 결합하면 분리 가능성이 향상된다는 것을 보여준다.

제안 방법

• 소프트맥스 출력과 uniform 분포 사이의 KL 발산을 역전파하여 네트워크 매개변수에 대한 그래디언트를 구한다.
• GradNorm을 선택된 매개변수(보통 마지막 FC 레이어)에 대한 그래디언트의 Lp-노름으로 정의한다(가장 좋음: 마지막 FC 레이어).
• 그래디언트 노름을 ID와 OOD 데이터를 구분하는 OOD 점수 S(x)로 사용한다.
• GradNorm을 MSP, ODIN, Energy, Mahalanobis와 ImageNet-1k 및 추가 벤치마크에서 경험적으로 비교한다.
• 그래디언트 깊이, 노름 유형(L1이 가장 효과적), 온도 T, 모델 용량에 대한 실험적 차이를 수행한다.
• GradNorm이 기능 공간과 출력 공간에서 결합 정보를 포착한다는 이론적 분해를 제공한다.

실험 결과

연구 질문

• RQ1 그래디언트가 ID와 OOD 데이터를 구분하는 판별 정보를 드러낼 수 있는가(출력이나 특징뿐만 아니라 그래디언트도 포함)？
• RQ2 GradNorm(Uniform 타깃에 대한 KL 발산의 그래디언트 노름)이 라벨이나 이상치 데이터 없이도 실용적이고 매개변수 효율적인 OOD 점수인가？
• RQ3 어떤 그래디언트 출처(depth, 마지막 레이어 대 모든 레이어)와 어떤 노름이 OOD 탐지 성능을 최적화하는가？
• RQ4 GradNorm은 대규모 벤치마크에서 최첨단 출력 기반 및 특징 기반 방법과 어떻게 비교되는가？
• RQ5 GradNorm의 특징 공간 및 출력 공간 정보에 대한 이론적 해석은 무엇인가？

주요 결과

방법	iNaturalist FPR95	iNaturalist AUROC	SUN FPR95	SUN AUROC	Places FPR95	Places AUROC	Textures FPR95	Textures AUROC	평균 FPR95	평균 AUROC
MSP	63.69	87.59	79.98	78.34	81.44	76.76	82.73	74.45	81.44	76.96
ODIN	62.69	89.36	71.67	83.92	76.27	80.67	81.31	76.30	72.99	82.56
Energy	64.91	88.48	65.33	85.32	73.02	81.37	80.87	75.79	71.03	82.74
Mahalanobis	96.34	46.33	88.43	65.20	89.75	64.46	52.23	72.10	81.69	62.02
GradNorm (ours)	50.03	90.33	46.48	89.03	60.86	84.82	61.42	81.07	54.70	86.31

• GradNorm은 ImageNet-1k 벤치마크의 네 가지 OOD 데이터셋에서 선도 베이스라인(MSP, ODIN, Energy, Mahalanobis)을 능가하며 FPR95를 최대 16.33% 포인트 감소시켰다.
• GradNorm에서 최상의 OOD 탐지 성능은 마지막 FC 레이어의 그래디언트를 사용할 때 얻어진다.
• 테스트된 노름 중 L1-노름이 가장 강력한 결과를 제공하며, 고차 노름은 더 나쁜 성능을 보인다.
• KL 발산에 대한 Uniform Target를 사용하면 원-핫 타깃보다 더 나은 분리성을 얻는다.
• GradNorm은 추가 학습 없이 적용 가능하며, 구조에 상관없이 효과적이다(ResNetv2-101 및 DenseNet-121).
• 이 방법은 기능 공간과 출력 공간의 결합 정보를 효과적으로 포착하여 두 공간 중 하나만 사용하는 것보다 분리성을 향상시킨다.