[논문 리뷰] Non-Parametric Outlier Synthesis

Leitian Tao, Xuefeng Du외 2명|arXiv (Cornell University)|2023. 03. 06.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 분포 가정 없이 내재된 분포(ID) 임베딩에 대해 비모수적 분포를 가정하지 않는 새로운 프레임워크인 비모수적 이상치 합성(NPOS)을 제안한다. 내재된 분포(ID) 임베딩의 경계에 위치한 임베딩을 k-NN 거리 기반 비모수적 밀도 추정을 통해 식별하고, 거절 샘플링을 통해 정규분포 커널을 이용해 이상치를 합성함으로써, 동일한 CLIP-B/16 설정에서 FPR95를 41.87%에서 5.76%로 감소시켜 최신 기준 성능을 달성한다.

ABSTRACT

Out-of-distribution (OOD) detection is indispensable for safely deploying machine learning models in the wild. One of the key challenges is that models lack supervision signals from unknown data, and as a result, can produce overconfident predictions on OOD data. Recent work on outlier synthesis modeled the feature space as parametric Gaussian distribution, a strong and restrictive assumption that might not hold in reality. In this paper, we propose a novel framework, Non-Parametric Outlier Synthesis (NPOS), which generates artificial OOD training data and facilitates learning a reliable decision boundary between ID and OOD data. Importantly, our proposed synthesis approach does not make any distributional assumption on the ID embeddings, thereby offering strong flexibility and generality. We show that our synthesis approach can be mathematically interpreted as a rejection sampling framework. Extensive experiments show that NPOS can achieve superior OOD detection performance, outperforming the competitive rivals by a significant margin. Code is publicly available at https://github.com/deeplearning-wisc/npos.

연구 동기 및 목표

• 모델이 알려지지 않은 데이터에 대해 감독 없이 작동하는 실세계 기계학습 배포 환경에서 이상치 탐지의 과제를 해결하기 위해.
• 기존 이상치 합성 방법(VOS 등)에서 제한적인 모수적 정규분포 가정을 극복하기 위해.
• 훈련을 위해 신뢰할 수 있는 합성 OOD 데이터를 생성할 수 있는 유연하고 분포에 종속되지 않은 프레임워크를 개발하기 위해.
• 불확실성 정규화를 통해 ID 및 OOD 데이터 간의 밀도 경계를 더욱 컴act하게 학습시켜 모델의 강건성을 향상시키기 위해.
• 훈련 시에 오직 ID 데이터만을 사용하여 대규모 및 제로샷 설정에서 효과적인 OOD 탐지가 가능하도록 하기 위해.

제안 방법

• 근접한 이웃 거리 기반 비모수적 k-NN 밀도 추정을 통해 경계 ID 임베딩을 식별한다.
• 경계 ID 임베딩을 중심으로 다변량 정규분포 커널에서 샘플링하여 인위적 이상치를 합성한다.
• 낮은 가능도를 가진 합성 이상치만 유지하기 위해 거절 샘플링을 적용하여 이들이 OOD 영역에 위치하도록 보장한다.
• 이상치 합성 과정을 거절 샘플링 프레임워크로 재구성하여 레벨셋 추정을 수학적으로 근사한다.
• ID 분류 및 특징의 밀도를 높이는 손실과 불확실성 정규화를 통한 OOD 분리 손실을 동시에 최적화하는 이중 손실을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 클래스 중심점으로 샘플을 끌어당김으로써 ID 표현의 품질을 향상시키고, 밀도 추정의 정확도를 높이는 방식으로 매우 구분 가능한 ID 표현을 최적화한다.

Figure 1: Illustration of our non-parametric outlier synthesis ( NPOS ). (a) Embeddings of ID data are optimized using Equation 8 , which facilitates learning distinguishable representations. (b) Boundary ID embeddings are selected based on the non-parametric $k$ -NN distance. (c) Outliers are synth

실험 결과

연구 질문

• RQ1 ID 데이터에 특정 분포를 가정하지 않는 비모수적 이상치 합성이 기존 모수적 방법보다 OOD 탐지 성능에서 뛰어나게 되는가?
• RQ2 비모수적 밀도 추정 기반의 거절 샘플링이 OOD 탐지의 결정 경계 학습에 어떻게 기여하는가?
• RQ3 NPOS는 다양한 모델 아키텍처와 데이터셋(예: ImageNet 포함)에 대해 얼마나 일반화되는가?
• RQ4 표준 미세조정과 MSP 스코어링을 사용할 때에 비해 NPOS는 OOD 샘플에 대한 과신을 얼마나 줄이는가?
• RQ5 동일한 훈련 및 평가 조건에서 NPOS의 성능은 Fort 등(2021) 및 VOS(Du 등, 2022c)와 같은 최신 기준 방법과 비교해 어떻게 되는가?

주요 결과

• CLIP-B/16를 동일한 설정에서 미세조정할 때, NPOS는 FPR95를 Fort 등(2021)의 41.87%에서 5.76%로 감소시켜 36.11% 향상된 성능을 보였다.
• 비모수적 VOS 기준보다 NPOS는 FPR95에서 13.40% 향상되어 비모수적 이상치 합성의 우수성을 확인했다.
• 제로샷 및 미세조정 모델 모두에서 우수한 성능을 기록했으며, ImageNet에서도 확장성과 강건성을 입증했다.
• 제거 실험을 통해 비모수적 밀도 추정과 거절 샘플링이 성능 향상에 핵심 요소임을 확인했다.
• 엔드 투 엔드로 훈련 가능하며, ID 분류 및 OOD 분리 목표를 동시에 최적화할 때 수렴함을 확인했다.
• 코드, 데이터셋, 모델 체크포인트는 https://github.com/deeplearning-wisc/npos 에 공개되어 있어 재현 가능성을 보장한다.

Figure 2: (a) Ablation study on the regularization weight $\alpha$ on $R_{\textrm{open}}$ . (b) Ablation on the variance $\sigma^{2}$ for synthesizing outliers in Equation 5 . (c) Ablation on the $k$ for the $k$ -NN distance. The numbers are FPR95. The ID training dataset is ImageNet-100.