[논문 리뷰] Feature Space Singularity for Out-of-Distribution Detection

Haiwen Huang, Zhihan Li외 4명|arXiv (Cornell University)|2020. 11. 30.

Anomaly Detection Techniques and Applications참고 문헌 42인용 수 27

한 줄 요약

이 논문은 신경망의 특징 공간 내 중심점인 특징 공간 특이점(FSS)으로부터의 거리를 측정하여 분포 외(OoD) 샘플을 식별하는 간단하면서도 최신 기술 수준의 OoD 검출 방법인 특징 공간 특이점 거리(FSSD)를 제안한다. 이 방법은 다양한 벤치마크에서 최고 성능을 기록하며, CelebA 및 MS-1M와 같은 대규모 데이터셋에서 AUROC가 5% 향상되었고, 데이터 손상에 대해 강건하며 앙상블을 통해 성능 향상을 보였다.

ABSTRACT

Out-of-Distribution (OoD) detection is important for building safe artificial intelligence systems. However, current OoD detection methods still cannot meet the performance requirements for practical deployment. In this paper, we propose a simple yet effective algorithm based on a novel observation: in a trained neural network, OoD samples with bounded norms well concentrate in the feature space. We call the center of OoD features the Feature Space Singularity (FSS), and denote the distance of a sample feature to FSS as FSSD. Then, OoD samples can be identified by taking a threshold on the FSSD. Our analysis of the phenomenon reveals why our algorithm works. We demonstrate that our algorithm achieves state-of-the-art performance on various OoD detection benchmarks. Besides, FSSD also enjoys robustness to slight corruption in test data and can be further enhanced by ensembling. These make FSSD a promising algorithm to be employed in real world. We release our code at \url{https://github.com/megvii-research/FSSD_OoD_Detection}.

연구 동기 및 목표

• 모델이 알려지지 않은 또는 손상된 입력을 만날 수 있는 실제 AI 시스템에서 신뢰할 수 있는 OoD 검출이 필수적이라는 문제를 해결하기 위해.
• 학습된 신경망 내에서 분포 외 샘플이 유한한 노름을 가진 경우 특징 공간에 집중되는 일반적인 구조적 성질을 규명하기 위해.
• 추가 학습이 필요 없고 전체 학습 세트까지의 복잡한 거리 계산을 피하는 경량의 추론 시점 OoD 검출 방법을 개발하기 위해.
• 데이터 손상 하에서의 강건성과 앙상블을 통한 확장성 증명을 위해.

제안 방법

• 이 방법은 네트워크 학습 후 분포 외 샘플이 유한한 노름을 가진 경우 특징 공간의 중심점인 특징 공간 특이점(FSS)으로 집중됨을 확인한다.
• FSSD(x) = ||Fθ(x) − F*||로 정의된 L2 거리로, 샘플의 특징 표현에서 FSS까지의 거리를 측정하며, 이는 OoD 검출 점수로 사용된다.
• FSS는 알려진 분포 외 데이터의 검증 세트에서의 분포 외 특징의 중심점으로 계산되며, 추가 학습이 필요하지 않다.
• 이 방법은 내재된 분포 및 분포 외 특징의 학습 동역학을 활용하여, FSSD가 학습 중 특징의 이동을 근사함을 보여준다.
• 모든 사전 학습된 분류기와 호환되며, 최소한의 계산 오버헤드로 추론 시점에 적용 가능하다.
• 다양한 레이어나 여러 개의 네트워크에서의 FSSD 점수를 앙상블하여 성능을 더욱 향상시킬 수 있으며, 이는 특징 표현의 다양성을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 분포에서 온 분포 외 데이터가 학습된 신경망의 특징 공간 내에서 단일 점 근처로 일관되게 집중되는가?
• RQ2 샘플의 특징에서 이 중심점(FSS)까지의 거리(FSSD)가 신뢰할 수 있고 일반화 가능한 OoD 검출 점수로 사용될 수 있는가?
• RQ3 FSSD는 기존 최신 기술 수준의 방법들과 비교해 AUROC와 데이터 손상 하에서의 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 다른 레이어나 네트워크에서의 FSSD 점수를 앙상블하면 검출 성능이 추가로 향상되는가?
• RQ5 FSS 현상의 배경이 되는 학습 동역학은 무엇인가?

주요 결과

• FSSD는 평가된 모든 OoD 검출 벤치마크에서 최신 기술 수준의 성능을 기록하였으며, CelebA 및 MS-1M와 같은 대규모 데이터셋에서 AUROC가 5% 향상되었다.
• 이 방법은 ImageNet-C와 같은 테스트 데이터 손상에 대해 높은 강건성을 유지하였으며, 불확실성 기반 및 밀도 기반 기준선을 초월하였다.
• 학습 세트 크기가 클수록 FSSD와 다른 방법 간의 성능 격차가 커지며, 이는 확장성과 강력한 일반화 능력을 시사한다.
• 다양한 레이어나 네트워크에서의 FSSD 점수를 앙상블하면 성능 향상이 추가로 이루어지며, 이는 이 방법이 앙상블 기법과 호환됨을 보여준다.
• FSS 현상은 ResNet, ResNeXt, LSTM, LeNet 등의 다양한 아키텍처와 CIFAR10, ImageNet, FashionMNIST, 게놈 데이터 등의 다양한 데이터셋에서 일반적으로 나타나며, 광범위한 적용 가능성을 확인한다.
• 이론적 및 실증적 분석을 통해 FSS 현상은 학습 동역학과 신경망의 비-Lipschitz 행동과 관련이 있으며, 특히 학습 데이터와의 기울기 내적 곱 유사도를 통해 설명된다.