[논문 리뷰] Back to the Basics: Revisiting Out-of-Distribution Detection Baselines

Johnson Kuan, Jonas Mueller|arXiv (Cornell University)|2022. 07. 07.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 단순하고 모델에 종속되지 않는 분포 외(OOD) 탐지 방법을 재검토하며, 사전 훈련된 분류기의 임베딩 표현을 활용한 K-최근접 이웃(KNN) 거리 방법이 예측 전용 기준인 최대 소프트맥스 확률(MSP)보다 뛰어난 성능을 보임을 보여준다. 주요 기여는 임베딩 공간 내 거리 기반의 매우 단순한 KNN 기반 OOD 탐지 방법을 제안하는 것으로, 이는 CIFAR, MNIST, Fashion-MNIST와 같은 표준 벤치마크에서 ResNet-50 및 Swin Transformer 모델에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

We study simple methods for out-of-distribution (OOD) image detection that are compatible with any already trained classifier, relying on only its predictions or learned representations. Evaluating the OOD detection performance of various methods when utilized with ResNet-50 and Swin Transformer models, we find methods that solely consider the model's predictions can be easily outperformed by also considering the learned representations. Based on our analysis, we advocate for a dead-simple approach that has been neglected in other studies: simply flag as OOD images whose average distance to their K nearest neighbors is large (in the representation space of an image classifier trained on the in-distribution data).

연구 동기 및 목표

• 사전 훈련된 분류기의 예측 또는 학습된 표현에만 의존하는 단순하고 모델에 종속되지 않는 OOD 탐지 방법의 성능을 평가하는 것.
• 모델 예측(예: MSP, 엔트로피)에만 기반한 방법이 충분한지, 학습된 표현을 통합하면 OOD 탐지 성능이 향상되는지 조사하는 것.
• 어느 훈련된 분류기와도 호환되며 간단하고 해석 가능하며 매우 효과적인 OOD 탐지 방법을 식별하고 제안하는 것.
• 신뢰할 수 있는 OOD 탐지에 복잡한 생성 모델이 반드시 필요하다는 가정을 도전하며, 표현 공간 내 기본적인 KNN이 경쟁적인 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 사전 훈련된 분류기의 임베딩 공간에서 입력 이미지의 K개의 가장 가까운 이웃까지의 평균 거리를 계산하는 KNN 기반 OOD 탐지 방법을 제안한다.
• 내분포 데이터에서 훈련된 분류기의 학습된 표현(임베딩)을 사용해 局부 밀도 추정의 특징 공간으로 활용한다.
• 평균 KNN 거리를 OOD 스코어로 활용: 더 큰 거리는 분포 외일 가능성이 높음을 나타낸다.
• 거리 기반과 예측 기반을 모두 포함한 변형인 KNN_DistPred 및 KNN_Prediction 버전으로 방법을 확장한다.
• ResNet-50 및 Swin Transformer 모델에 적용하여 CIFAR-10 대 CIFAR-100, MNIST 대 Fashion-MNIST 등의 표준 OOD 벤치마크에서 평가한다.
• 다양한 내분포 및 외분포 데이터셋 쌍에서 주로 AUROC를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 분류기의 임베딩 공간만을 사용하는 단순한 KNN 기반 방법이 MSP 및 엔트로피와 같은 기존 기준을 능가할 수 있는가?
• RQ2 학습된 표현(임베딩)을 통합하면 모델 예측에만 의존하는 것보다 OOD 탐지 성능이 크게 향상되는가?
• RQ3 다양한 모델 아키텍처와 데이터셋에서 K 값의 변화에 따라 제안된 KNN 방법의 성능가 어떻게 변하는가?
• RQ4 표현 공간 내 KNN 기반 방법은 내분포 및 외분포 데이터셋 조합, 특히 심한 도메인 이동이 있는 경우에도 탄탄하고 효과적인가?
• RQ5 최대 소프트맥스 확률(MSP)은 엠피스티크 불확실성의 나쁜 대체 지표임에도 불구하고 OOD 탐지에서 잘 작동하는 이유는 무엇이며, 더 단순한 표현 기반 방법이 이를 능가할 수 있는가?

주요 결과

• 임베딩 공간 내 K개의 가장 가까운 이웃까지의 평균 거리를 사용하는 KNN 기반 OOD 탐지 방법이 모든 테스트된 데이터셋에서 ResNet-50 및 Swin Transformer 모델에서 최신 기술(AUROC 기준) 성능을 달성한다.
• Swin Transformer에서 KNN 거리 방법은 CIFAR-10 대 CIFAR-100에서 AUROC 0.9917, MNIST 대 로마자수에서 AUROC 0.9989를 기록하여 MSP(0.9689) 및 엔트로피(0.9690)를 초월한다.
• ResNet-50에서는 CIFAR-10 대 CIFAR-100에서 AUROC 0.9390, MNIST 대 로마자수에서 AUROC 1.0000을 달성하여 MSP(0.9268) 및 엔트로피(0.9318)를 뛰어넘는다.
• K=5일 때에도 여러 설정에서 AUROC >0.99를 달성하며, K=5에서 K=100에 이르기까지 성능이 안정되어 있어 하이퍼파rameter 선택에 대해 탄력적임을 보여준다.
• 특히 도메인 이동이 심한 OOD 시프트에서 마할라노비스 거리, RMD, Isolation Forest와 같은 더 복잡한 기준보다도 KNN 거리 방법이 항상 뛰어난 성능을 보인다.
• 이 연구는 단순한 표현 기반 방법, 예를 들어 KNN 거리 방법이 효과적일 뿐 아니라 복잡한 생성 모델보다 더 해석 가능하고 실용적임을 입증한다. 복잡한 생성 모델은 광범위한 튜닝이 필요하고 모델에 종속된다.