[논문 리뷰] How Useful are Gradients for OOD Detection Really?

Conor Igoe, Youngseog Chung외 2명|arXiv (Cornell University)|2022. 05. 20.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 논문은 분포 외(OOD) 탐지에서 기울기의 필요성을 의심하며, 기울기 기반 방법의 성능이 기울기 정보 자체보다는 최종 레이어의 특징 임bedding 크기와 예측된 클래스 확률의 크기에 기인해 주로 결정된다는 점을 입증한다. 본 논문은 이러한 두 성분을 융합함으로써 성능과 효율성 면에서 기존 방법을 초월하는 비기울기 기반 OOD 탐지 프레임워크를 제안한다.

ABSTRACT

One critical challenge in deploying highly performant machine learning models in real-life applications is out of distribution (OOD) detection. Given a predictive model which is accurate on in distribution (ID) data, an OOD detection system will further equip the model with the option to defer prediction when the input is novel and the model has little confidence in prediction. There has been some recent interest in utilizing the gradient information in pre-trained models for OOD detection. While these methods have shown competitive performance, there are misconceptions about the true mechanism underlying them, which conflate their performance with the necessity of gradients. In this work, we provide an in-depth analysis and comparison of gradient based methods and elucidate the key components that warrant their OOD detection performance. We further propose a general, non-gradient based method of OOD detection which improves over previous baselines in both performance and computational efficiency.

연구 동기 및 목표

• 딥 러닝 모델에서 효과적인 OOD 탐지를 위해 기울기가 진정으로 필수적인지 조사하기.
• 기존 기울기 기반 OOD 탐지 방법의 성능을 이끄는 실제 성분을 특정하기.
• 성능과 계산 효율성을 향상시킬 수 있는 비기울기 기반 OOD 탐지 프레임워크 개발하기.
• 기울기 기반 방법이 작동하는 이유에 대한 기존 직관을 도전하며, 특히 OOD 입력을 탐지하는 데 있어 기울기 크기의 역할을 재고하기.
• 특징 임bedding 크기와 출력 확률 분포가 OOD 탐지 성능의 핵심 요인임을 경험적이고 이론적으로 입증하기.

제안 방법

• 저자들은 다양한 기울기 기반 OOD 탐지 방법을 분석하고 단순화하여, 성능이 최종 레이어의 특징 임bedding 크기와 예측된 클래스 확률에 기인함을 밝혀냈다.
• 기울기에 의존하지 않고도 기능할 수 있는 일반화된 점수 함수 프레임워크를 도입하였으며, 이는 최종 레이어의 특징 L2 노름(U 항)과 예측된 클래스 확률 분포(V 항)를 융합한다.
• 제안된 방법인 BatchGrad는 마지막 레이어 기울기의 노름에 기반한 손실 함수를 사용하지만, 저자들은 이것이 성능에 필수적이지 않음을 입증했다.
• AUROC를 주요 평가 지표로 사용하여, MNIST, CIFAR-10, SVHN, ImageNet 등 다양한 벤치마크에서 프레임워크를 평가하였다.
• 깊은 네트워크와 얕은 네트워크 변형을 모두 테스트하여 기울기 계산의 기여를 분리함을 확인하였으며, 얕은 기울기(마지막 레이어만)가 깊은 기울기보다 성능이 뛰어났다.
• Ablation 연구와 최신 기준 방법들인 ExGrad, MSP, GradNorm과의 비교를 통해 프레임워크를 검증하였다.

실험 결과

연구 질문

• RQ1 기울기 기반 OOD 탐지기의 성능이 진정으로 기울기 정보 덕분인가, 아니면 다른 성분이 더 영향을 미치는가?
• RQ2 특징 임bedding 크기와 예측된 확률 분포를 융합한 비기울기 기반 OOD 탐지 방법이 우수한 성능을 낼 수 있는가?
• RQ3 기울기 공간에 OOD 탐지에 필수적이거나 고유한 정보가 없다면, 기울기 기반 방법이 왜 잘 작동하는가?
• RQ4 마지막 레이어 기울기가 더 깊은 레이어 기울기보다 OOD 탐지에 더 유용한 신호를 제공하는가?
• RQ5 모델 용량과 과제 난이도는 특징 임bedding과 출력 확률 분포를 모두 필요로 하는지에 영향을 미치는가?

주요 결과

• 마지막 레이어 기울기만 계산하는 얕은 BatchGrad는 소규모 벤치마크에서 AUROC 0.925 ± 0.044를 기록하여 깊은 BatchGrad(0.787 ± 0.224)를 능가한다.
• 기울기 기반 방법의 성능은 기울기 정보 자체보다는 최종 레이어의 특징 임bedding 크기와 예측된 클래스 확률에 의해 주로 결정된다.
• 마지막 레이어 특징의 L2 노름과 예측된 클래스 확률을 융합하는 비기울기 기반 방법이 여러 OOD 탐지 벤치마크에서 최신 기준 성능을 달성한다.
• 연구 결과에 따르면, 더 단순한 과제(예: MNIST, CIFAR-10)에서는 예측된 확률 분포(V 항)만으로도 충분하며, 더 복잡한 과제(예: ImageNet)에서는 특징 임bedding과 출력 확률 분포가 모두 필요하다.
• 기울기 계산이 OOD 탐지에 필수적이라는 가설을 반박하며, 기울기 계산은 간단하고 더 효율적인 성분으로 대체될 수 있음을 입증한다.
• 저자들은 GradNorm의 성공이 기울기 활용 덕분이 아니라 특징 인코딩과 출력 분포 정보의 융합 덕분임을 입증하였다.