[논문 리뷰] Detecting OODs as datapoints with High Uncertainty

Ramneet Kaur, Susmit Jha외 4명|arXiv (Cornell University)|2021. 08. 13.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 8

한 줄 요약

이 논문은 심층 신경망에서 분포 외(In-Distribution, OOD) 입력을 탐지하기 위해 지식 기반 및 랜덤성 기반 불확실성(indicators of epistemic and aleatoric uncertainty)을 조합한 새로운 앙상블 기반 접근법을 제안한다. 고도의 지식 기반 불확실성(내부 분포 데이터에 대한 지지 부족) 또는 고도의 랜덤성 기반 불확실성(예측 엔트로피가 높음)에 의존하는 OOD 탐지 방법을 분류함으로써, 저자들은 앙상블을 통해 두 가지 유형의 불확실성을 조합하면 여러 비전 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, AUROC 및 AUPR 점수 모두에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Deep neural networks (DNNs) are known to produce incorrect predictions with very high confidence on out-of-distribution inputs (OODs). This limitation is one of the key challenges in the adoption of DNNs in high-assurance systems such as autonomous driving, air traffic management, and medical diagnosis. This challenge has received significant attention recently, and several techniques have been developed to detect inputs where the model's prediction cannot be trusted. These techniques detect OODs as datapoints with either high epistemic uncertainty or high aleatoric uncertainty. We demonstrate the difference in the detection ability of these techniques and propose an ensemble approach for detection of OODs as datapoints with high uncertainty (epistemic or aleatoric). We perform experiments on vision datasets with multiple DNN architectures, achieving state-of-the-art results in most cases.

연구 동기 및 목표

• 기존 OOD 탐지 기법을 지식 기반 불확실성 또는 랜덤성 기반 불확실성에 의존하는지에 따라 분류하는 것.
• 단일 유형의 불확실성에만 의존하는 기존 OOD 탐지 기법의 한계를 탐구하는 것.
• 지식 기반 및 랜덤성 기반 불확실성 지표를 통합하여 향상된 OOD 탐지 성능을 달성하는 통합 탐지 프레임워크를 제안하는 것.
• 표준 비전 데이터셋에서 제안된 앙성 방법을 실증적으로 평가하고 최신 기술 기준과 비교하는 것.

제안 방법

• 기존 OOD 탐지 기법을 두 가지 범주로 분류: 높은 지식 기반 불확실성(예: 마할라노비스 거리, KNN, ODIN)에 의해 OOD를 탐지하는 기법과 높은 랜덤성 기반 불확실성(예: 엔트로피 기반 방법, PCA, 온도 스케일링을 적용한 마할라노비스 거리)에 의해 OOD를 탐지하는 기법.
• 지식 기반 및 랜덤성 기반 불확실성 지표를 모두 통합한 새로운 앙성 탐지기 제안.
• 각 탐지기가 기반 메커니즘에 따라 불확실성 점수를 기여하는 가중치가 부여된 탐지기 앙성 사용 (예: 지식 기반 불확실성은 마할라노비스 거리, 랜덤성 기반 불확실성은 소프트맥스 엔트로피).
• 다양한 DNN 아키텍처(ResNet34, DenseNet)를 사용하여 여러 비전 데이터셋(SVHN, CIFAR-10, CIFAR-100, ImageNet, LSUN)에서 앙성 모델을 훈련 및 평가.
• 불확실성 추정 향상을 위해 온도 스케일링 및 신뢰도 캘리브레이션 적용.
• AUROC, AUPR, TNR at 95% TPR, DTACC와 같은 표준 지표를 사용하여 다양한 OOD 벤치마크에서의 성능 평가.

실험 결과

연구 질문

• RQ1 기존 OOD 탐지 기법은 지식 기반 또는 랜덤성 기반 불확실성에 의존하는지에 따라 OOD 샘플 탐지 능력에서 어떻게 다를까?
• RQ2 지식 기반 및 랜덤성 기반 불확실성 지표를 조합하면 개별 기법보다 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ3 각각 하나의 유형의 불확실성에 특화된 탐지기로 구성된 앙성은 표준 벤치마크에서 최신 기술 기준을 초월하는가?
• RQ4 제안된 앙성 방법은 다양한 데이터셋과 네트워크 아키텍처에 대해 얼마나 견고한가?

주요 결과

• 제안된 앙성 방법은 SVHN에서 98.41의 최고 수준 AUROC 점수, ImageNet에서 95.86, LSUN에서 97.07을 기록하여 개별 기준 기준보다 뚜렷이 뛰어난 성능을 보였다.
• DenseNet을 사용한 SVHN에서 앙성은 IN 기준 96.27% AUPR, OUT 기준 99.39% AUPR를 기록하여 이어지는 최고 성능 기준(ODIN)을 2% 이상 초월했다.
• 절단 분석에서 지식 기반 및 랜덤성 기반 불확실성 지표를 함께 조합하는 것은 단독으로 사용할 경우보다 항상 탐지 성능 향상을 이끌었다.
• CIFAR-100에서 LSUN을 OOD로 사용한 경우, 앙성 방법은 97.28% AUROC 및 99.88% AUPR(OUT)를 기록하여 다양한 OOD 분포에 대한 강력한 일반화 능력을 보였다.
• ResNet34를 사용한 SVHN에서 앙성 방법은 95% TPR에서 TNR 90.34%를 기록하여 마할라노비스 + ODIN(83.20%) 및 PCA + KNN(65.82%) 조합보다 뛰어났다.
• 결과는 지식 기반 및 랜덤성 기반 불확실성이 상호 보완적이며, 이들의 공동 모델링이 OOD 탐지의 견고성을 크게 향상시킨다는 것을 확인했다.