[논문 리뷰] Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features

Ibrahima J. Ndiour, Nilesh Ahuja외 1명|arXiv (Cornell University)|2020. 12. 08.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 고차원 딥 페처를 낮은 차원의 다양체로 압축하기 위해 선형(예: PCA) 및 비선형(예: 오토에인코더) 기반의 부분공간 기법을 활용하는 새로운 이상 분포(OOD) 탐지 방법을 제안한다. 이후 이러한 임bedding에 대해 확률적 모델링을 수행한다. 결과적으로, 압축된 부분공간에서의 특징 재구성 오차와 로그우도 점수는 기준선 방법에 비해 유의미하게 뛰어나며, CIFAR10, CIFAR100 및 SVHN에서 AUROC와 AUPR가 각각 최대 13%p 높아진다.

ABSTRACT

This paper presents a principled approach for detecting out-of-distribution (OOD) samples in deep neural networks (DNN). Modeling probability distributions on deep features has recently emerged as an effective, yet computationally cheap method to detect OOD samples in DNN. However, the features produced by a DNN at any given layer do not fully occupy the corresponding high-dimensional feature space. We apply linear statistical dimensionality reduction techniques and nonlinear manifold-learning techniques on the high-dimensional features in order to capture the true subspace spanned by the features. We hypothesize that such lower-dimensional feature embeddings can mitigate the curse of dimensionality, and enhance any feature-based method for more efficient and effective performance. In the context of uncertainty estimation and OOD, we show that the log-likelihood score obtained from the distributions learnt on this lower-dimensional subspace is more discriminative for OOD detection. We also show that the feature reconstruction error, which is the $L_2$-norm of the difference between the original feature and the pre-image of its embedding, is highly effective for OOD detection and in some cases superior to the log-likelihood scores. The benefits of our approach are demonstrated on image features by detecting OOD images, using popular DNN architectures on commonly used image datasets such as CIFAR10, CIFAR100, and SVHN.

연구 동기 및 목표

• 딥 네트워크에서 훈련 분포 외의 데이터를 식별해야 하는 이상 분포(OOD) 탐지 문제를 해결하기 위해.
• 기존의 확률적 모델이 차원의 저주에 시달리는 고차원 특징 공간의 한계를 극복하기 위해.
• 진짜 데이터 다양체를 더 잘 반영하는 낮은 차원의 부분공간에서 특징을 모델링하여 OOD 탐지 성능을 향상시키기 위해.
• 로그우도 기반 방법과 독립적으로, 특징 재구성 오차를 OOD 탐지의 신뢰도 점수로 사용할 수 있는지 평가하기 위해.
• 실제 환경 구현에 적합한 데이터 부족 상황에서도 성능이 안정적인지 평가하기 위해.

제안 방법

• 고차원 딥 페처를 낮은 차원의 부분공간으로 압축하기 위해 선형 차원 축소(예: PCA) 및 비선형 다양체 학습(예: 오토에인코더)을 적용한다.
• 압축된 부분공간에서 클래스 조건부 확률 분포(예: 다변량 정규분포)를 학습하여 로그우도 점수를 계산한다.
• 차원 축소 후 원래 공간에서의 프리이미지와 원본 고차원 특징 간의 L2 노름 차이를 특징 재구성 오차로 계산한다.
• 로그우도와 재구성 오차를 모두 OOD 탐지의 신뢰도 점수로 사용하여 모듈러한 설계 선택이 가능하도록 한다.
• 훈련 데이터의 일부(예: 전체 데이터의 20%)로 부분공간 모델과 확률 분포를 학습하여 데이터 부족 상황에서의 성능을 평가한다.
• 다양한 네트워크 아키텍처를 사용하여 표준 벤치마크(CIFAR10, CIFAR100, SVHN)에서 AUROC 및 AUPR와 같은 표준 지표로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 원래 고차원 공간에서의 모델링 대비, 딥 페처를 낮은 차원의 부분공간으로 압축함으로써 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ2 압축된 부분공간에서 특징 재구성 오차가 로그우도 점수보다 더 효과적인 OOD 신뢰도 점수인가?
• RQ3 딥 페처 공간에서 다변량 정규분포 모델링에 사용되는 동분산성 가정(공통 공분산)이 유지되는가? 만약 이를 위반하면 OOD 탐지 성능이 떨어지는가?
• RQ4 훈련 데이터가 제한적일 경우(예: 전체 데이터의 20%), 제안된 방법의 성능은 어떻게 변화하는가?
• RQ5 특히 복잡한 특징 구조를 가진 깊은 네트워크 레이어에서는 비선형 부분공간 기법이 선형 기법보다 일관되게 뛰어나게 되는가?

주요 결과

• 제안된 방법은 CIFAR10, CIFAR100 및 SVHN 데이터셋에서 기준선 방법 대비 최대 13%p 높은 AUROC와 AUPR 성능을 달성한다.
• 압축된 부분공간에서의 특징 재구성 오차는 OOD 탐지에 매우 효과적이며, 특히 깊은 레이어에서 로그우도 점수를 뛰어넘는 경향이 있다.
• 비선형 부분공간 모델링(예: 오토에인코더)은 깊은 네트워크 레이어에서 특징 다양체가 복잡한 비선형성을 보일 경우 선형 방법(예: PCA)보다 일관되게 뛰어나다.
• 훈련 데이터를 전체의 20%로 제한하더라도 성능이 유지되며, 대부분의 경우 AUROC가 1%p 이내로 떨어지고, 흔히 5%p 이내로 떨어지지 않는다.
• 기존의 마할라노비스 기반 방법에서 사용하는 동분산성 가정(공통 공분산)은 딥 페처 공간에서 자주 위반되며, 이로 인해 일부 경우에서는 소프트맥스 점수보다도 성능이 열 劣한다.
• 부분공간 기반 접근은 압축된 공간에서 더 풍부하고 복잡한 생성 모델의 사용을 가능하게 하여, 향후 불확실성 추정 향상에 새로운 길을 열어준다.