[논문 리뷰] Are all outliers alike? On Understanding the Diversity of Outliers for Detecting OODs

Ramneet Kaur, Susmit Jha외 3명|arXiv (Cornell University)|2021. 03. 23.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 10

한 줄 요약

이 논문은 오차 분포 외부(OOD) 샘플을 그들의 근본 원인과 불확실성의 성격에 기반해 분류 체계를 제안한다. 예를 들어, 애자코틱 불확실성 대비 지식 기반 불확실성, 예측된 클래스로부터의 거리 대비 학습된 분포와의 거리, 주성분 대비 비주성분에 대한 불확실성 등이다. 이는 여러 종류의 불확실성을 통합한 OOD 탐지 방법을 제안하며, CIFAR10, SVHN, MNIST 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 특히 CIFAR100에서 AUROC 점수가 최대 99.89%에 이를 정도로 뛰어난 성능을 보였다. 또한 SVHN에서는 99.41%의 AUROC를 기록했다.

ABSTRACT

Deep neural networks (DNNs) are known to produce incorrect predictions with very high confidence on out-of-distribution (OOD) inputs. This limitation is one of the key challenges in the adoption of deep learning models in high-assurance systems such as autonomous driving, air traffic management, and medical diagnosis. This challenge has received significant attention recently, and several techniques have been developed to detect inputs where the model's prediction cannot be trusted. These techniques use different statistical, geometric, or topological signatures. This paper presents a taxonomy of OOD outlier inputs based on their source and nature of uncertainty. We demonstrate how different existing detection approaches fail to detect certain types of outliers. We utilize these insights to develop a novel integrated detection approach that uses multiple attributes corresponding to different types of outliers. Our results include experiments on CIFAR10, SVHN and MNIST as in-distribution data and Imagenet, LSUN, SVHN (for CIFAR10), CIFAR10 (for SVHN), KMNIST, and F-MNIST as OOD data across different DNN architectures such as ResNet34, WideResNet, DenseNet, and LeNet5.

연구 동기 및 목표

• 기존 OOD 탐지 방법이 모든 이방자를 동일하게 간주하고 다양한 이방자 유형을 탐지하지 못하는 한계를 해결하기 위해.
• 애자코틱 대비 지식 기반 불확실성, 예측된 클래스로부터의 거리 대비 학습된 분포와의 거리, 주성분 대비 비주성분에 대한 불확실성 등 서로 다른 불확실성 유형에 기반해 OOD 샘플을 식별하고 분류하기 위해.
• 기존의 통일된 탐지 접근 방식이 표준 벤치마크에서 우수한 경험적 성능을 보이더라도 특정 이방자 유형에서는 실패함을 입증하기 위해.
• 다양한 이방자 유형에 대해 강건성을 향상시키기 위해 여러 탐지 서명을 통합한 OOD 탐지 프레임워크를 개발하고 검증하기 위해.
• ImageNet, LSUN, F-MNIST 등을 포함한 여러 데이터셋에서 ResNet34, WideResNet, DenseNet, LeNet5에 대한 분석을 통해 실증적 증거를 제공하기 위해.

제안 방법

• 세 가지 차원에 기반한 OOD 입력에 대한 분류 체계를 제안한다: 애자코틱 대비 지식 기반 불확실성, 예측된 클래스로부터의 거리 대비 연결된 학습 분포와의 거리, 저분산을 가지는 주성분 대비 비주성분에서의 불확실성.
• 다양한 탐지 서명을 활용한다: 마할라노비스 거리(Mahalanobis distance, Mahala), k-최근접 이웃(k-Nearest Neighbors, KNN), SPB(점수 기반 예측), ODIN, 주성분 분석(PCA), 신뢰도 점수(trust scores).
• 가중치를 적용한 앙상블 전략을 사용해 이러한 서명들의 신뢰도 점수를 통합하여 단일 탐지 프레임워크로 구성한다.
• 예측된 클래스 분포 및 연결된 학습 분포로부터의 거리에 기반해 OOD를 탐지하기 위해 상향식 추론 방식을 적용한다.
• ODIN 방법에서는 온도 스케일링과 입력 변형을 적용하며, 추가적인 신호를 위해 특징 수준의 재구성과 밀도 추정을 사용한다.
• CIFAR10, SVHN, MNIST, KMNIST, F-MNIST, ImageNet, LSUN 등 다양한 DNN 아키텍처와 내부/외부 분포 데이터셋 조합에서 통합 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 모든 OOD 이방자는 단일한 통일된 탐지 방법으로 탐지 가능한가, 아니면 다양한 이방자 유형에 따라 다른 탐지 전략이 필요한가?
• RQ2 불확실성 유형과 공간 분포에 따라 정의된 다양한 이방자 유형에서 기존의 OOD 탐지 방법은 어떤 성능을 보이는가?
• RQ3 여러 서명을 통합한 탐지 프레임워크는 다양한 이방자 유형에 걸쳐 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ4 애자코틱, 지식 기반, 주성분, 비주성분에 대한 불확실성 유형 중 어느 것이 OOD 탐지 실패에 가장 큰 기여를 하는가?
• RQ5 제안된 통합 방법은 다양한 OOD 벤치마크에서 ODIN 및 마할라노비스 거리와 같은 최신 기술(SOTA) 기반 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• ResNet34를 사용한 CIFAR100에서 통합 OOD 탐지 방법은 최고의 AUROC 99.89%를 기록했으며, ODIN(68.01%)과 PCA(97.81%)보다 뚜렷이 뛰어났다.
• DenseNet을 사용한 SVHN에서 통합 방법은 IN/OUT 기준 AUPR 99.11%를 달성했으며, ODIN(84.32%)과 PCA(86.62%)를 뛰어넘었다.
• ResNet34를 사용한 SVHN에서 통합 방법은 CIFAR100에서 AUROC 99.89%를 기록했으며, ODIN(68.01%)과 PCA(97.81%)보다 높았다.
• ResNet34를 사용한 CIFAR100에서 통합 방법은 DTACC 97.36%(TPR=95%)를 기록했으며, ODIN(67.26%)와 PCA(94.52%)를 뛰어넘었다.
• 아블레이션 연구 결과, 마할라노비스 거리(tied 및 클래스별로 특화된)와 KNN 기반 방법을 조합할 경우 모든 벤치마크에서 최고의 성능을 기록했다.
• 연구 결과, ODIN과 PCA는 특히 비주성분에서 저분산을 가지는 이방자 유형에서는 뚜렷한 실패를 보였으며, 이는 다중 서명 접근 방식의 필요성을 입증한다.