[논문 리뷰] Out-of-Distribution Detection with Deep Nearest Neighbors

Yiyou Sun, Yifei Ming외 2명|arXiv (Cornell University)|2022. 04. 13.

Anomaly Detection Techniques and Applications인용 수 61

한 줄 요약

이 논문은 분포 가정 없이 강력한 성능을 달성하고 ImageNet과 같은 대형 데이터셋으로 확장 가능한 비모수적 KNN 기반 OOD 탐지기를 심층 특징 공간에서 제안하며, 종종 매개변수 기반 기준선보다 우수한 성능을 보입니다.

ABSTRACT

Out-of-distribution (OOD) detection is a critical task for deploying machine learning models in the open world. Distance-based methods have demonstrated promise, where testing samples are detected as OOD if they are relatively far away from in-distribution (ID) data. However, prior methods impose a strong distributional assumption of the underlying feature space, which may not always hold. In this paper, we explore the efficacy of non-parametric nearest-neighbor distance for OOD detection, which has been largely overlooked in the literature. Unlike prior works, our method does not impose any distributional assumption, hence providing stronger flexibility and generality. We demonstrate the effectiveness of nearest-neighbor-based OOD detection on several benchmarks and establish superior performance. Under the same model trained on ImageNet-1k, our method substantially reduces the false positive rate (FPR@TPR95) by 24.77% compared to a strong baseline SSD+, which uses a parametric approach Mahalanobis distance in detection. Code is available: https://github.com/deeplearning-wisc/knn-ood.

연구 동기 및 목표

• 피처 공간에 대한 분포 가정을 피하는 비모수적 OOD 탐지 방법의 동기 부여와 평가.
• 심층 KNN 거리가 k-NN 거리의 간단한 임계값으로 ID와 OOD 데이터를 구분할 수 있음을 보일 것.
• 모델 아키텍처와 학습 손실(CE 및 SupCon)에 걸친 강건함을 입증.
• 오염 모델하에서 KNN 기반 결정과 Bayes 최적 탐지 간의 이론적 타당성을 제시.

제안 방법

• 훈련 샘플과 테스트 샘플 모두에 대해 정규화된 끝에서 두 번째 층 피처 z = phi(x)/||phi(x)||_2 를 계산한다.
• 테스트 시점에 학습 임베딩 Z_n에 대한 k번째 최근접 이웃 거리 r_k(z*) 를 계산한다.
• -r_k(z*) >= lambda 이면 OOD로 선언하며, lambda 는 ID 데이터의 큰 비율이 올바르게 분류되도록 선택된다(예: 95%).
• 사전 계산된 ID 임베딩에 대해 Faiss 를 사용한 효율적인 근사 최근접 이웃 검색을 수행한다.
• 다양한 백본(CNN 및 ViT)과 학습 손실(CE 및 SupCon)에 대한 호환성을 보여준다.
• 선택적으로 활성화 정류(ReAct)을 적용하고 k번째 거리와 평균 k 거리의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 피처 공간의 파라메트릭 형태를 가정하지 않고도 비모수적 최근접 이웃 거리만으로 효과적인 OOD 탐지가 충분한가?
• RQ2 다양한 아키텍처(CNN, ViT)와 학습 손실(CE, SupCon)에서 KNN 기반 OOD 탐지는 어떻게 작동하는가?
• RQ3 정규화, 피처 공간 선택, k 값, 샘플링 등의 어떤 설계 선택이 OOD 탐지 성능과 속도에 가장 큰 영향을 미치는가?
• RQ4 KNN 기반 OOD 탐지가 ImageNet과 같은 대형 데이터셋에 경쟁력 있는 추론 시간으로 확장되는가?

주요 결과

• KNN 기반 OOD 탐지는 같은 ImageNet-1k 모델 하에서 강력한 Mahalanobis 기준선에 비해 거짓 양성을 크게 감소시키며(FPR@TPR95가 24.77% 포인트 개선).
• SupCon을 활용한 CIFAR-10에서 KNN+은 hard OOD 태스크에서 SSD+보다 낮은 FPR95를 달성하여 대조적 표현을 가진 비모수적 방법의 이점을 시사한다.
• 도표에 인용된 결과에서 CIFAR-10에서 데이터 세트를 평균한 KNN+가 11.07 FPR95를 달성하여 IForest, OCSVM, LOF 등과 비교해 강력한 비모수적 성능을 보여준다.
• KNN 기반 방법은 대규모 데이터셋(Imagenet 규모)에서도 추론 속도가 경쟁력을 유지하며, 1% 샘플링으로도 전체 데이터셋 성능을 따라잡을 수 있다.
• ViT-B/16 전반에서 KNN은 여러 OOD 데이터셋(iNaturalist, SUN, Places, Textures)에서 Mahalanobis보다 우수하다.
• 활성화 정류(ReAct)는 KNN+ 성능을 더 높여(ImageNet-1k에서 FPR95를 38.47에서 26.45로 감소).