[논문 리뷰] Single Layer Predictive Normalized Maximum Likelihood for Out-of-Distribution Detection

Koby Bibas, Meir Feder외 1명|arXiv (Cornell University)|2021. 10. 18.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 단일층 신경망에 대해 예측 가능한 정규화 최대 가능성(pNML) 위상(regret)을 사용한 새로운 분포 외(OOD) 탐지 방법을 제안한다. 이는 해석적으로 유도되었으며, 추가 매개변수나 데이터 없이 사전 학습된 딥 네트워크에 적응 가능하다. 이는 CIFAR-100, CIFAR-10, SVHN 및 ImageNet-30에서 74개 벤치마크에서 최신 기술을 초월하는 성능을 달성하며, AUROC를 최대 15.6% 향상시킨다.

ABSTRACT

Detecting out-of-distribution (OOD) samples is vital for developing machine learning based models for critical safety systems. Common approaches for OOD detection assume access to some OOD samples during training which may not be available in a real-life scenario. Instead, we utilize the {\\em predictive normalized maximum likelihood} (pNML) learner, in which no assumptions are made on the tested input. We derive an explicit expression of the pNML and its generalization error, denoted as the {\\em regret}, for a single layer neural network (NN). We show that this learner generalizes well when (i) the test vector resides in a subspace spanned by the eigenvectors associated with the large eigenvalues of the empirical correlation matrix of the training data, or (ii) the test sample is far from the decision boundary. Furthermore, we describe how to efficiently apply the derived pNML regret to any pretrained deep NN, by employing the explicit pNML for the last layer, followed by the softmax function. Applying the derived regret to deep NN requires neither additional tunable parameters nor extra data. We extensively evaluate our approach on 74 OOD detection benchmarks using DenseNet-100, ResNet-34, and WideResNet-40 models trained with CIFAR-100, CIFAR-10, SVHN, and ImageNet-30 showing a significant improvement of up to 15.6\\% over recent leading methods.

연구 동기 및 목표

• 학습 중에 OOD 샘플이 제공되지 않는 안전 중심 AI 시스템에서 OOD 탐지 문제를 해결한다.
• 시험 데이터나 모델 매개변수에 대한 가정 없이 이론적으로 탄탄한, 분포에 종속되지 않는 OOD 탐지 방법을 개발한다.
• 일반화 분석을 가능하게 하기 위해 단일층 신경망에서 pNML 위상의 해석적 표현을 유도한다.
• 추가 학습 없이 마지막 레이어만 사용하여 사전 학습된 어떤 딥 네트워크에도 pNML 위상을 적응시킨다.
• 튜닝 없이 추가 데이터 없이 다양한 벤치마크에서 뛰어난 OOD 탐지 성능을 입증한다.

제안 방법

• 단일층 신경망에 대해 pNML 위상의 해석적 형태를 유도하며, 이는 pNML 학습자와 진짜 레이블을 알고 있는 지니가 알려주는 로그 손실의 차이로 정의된다.
• 시험 샘플이 훈련 데이터의 경험적 공분산 행렬의 고유값이 큰 고유벡터들이 생성하는 부분공간에 있을 때 pNML 위상이 최소가 됨을 보여준다.
• 시험 샘플이 결정 경계에서 멀리 떨어져 있을 경우 pNML 위상도 낮아지며, 이는 그러한 입력에 대해 예측의 높은 신뢰도를 나타낸다.
• 특징 표현을 단일층 분류기의 입력으로 간주하여 사전 학습된 딥 네트워크의 마지막 레이어에 pNML 위상을 적응시킨다.
• 추가로 네트워크를 수정하거나 추가 데이터가 필요 없이, 표준 소프트맥스 확률을 대체하거나 보완하는 것으로 pNML 위상을 신뢰도 점수로 사용한다.
• DenseNet-100, ResNet-34, WideResNet-40 및 ResNet-18/101 모델에 대해 CIFAR-100, CIFAR-10, SVHN 및 ImageNet-30에서 이 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 단일층 신경망에 대해 pNML 위상의 해석적 표현을 도출할 수 있으며, 어떤 조건에서 일반화 오차(낮은 위상)를 낮출 수 있는가?
• RQ2 시험 입력이 훈련 데이터의 고분산 방향으로 정의된 저차원 부분공간에 있을 경우 pNML 위상은 어떻게 행동하는가?
• RQ3 재학습이나 추가 매개변수 없이 pNML 위상을 딥 네트워크에서 OOD 탐지의 신뢰도 점수로 효과적으로 사용할 수 있는가?
• RQ4 pNML 기반 OOD 탐지 방법은 다양한 벤치마크 데이터셋과 네트워크 아키텍처에서 기존 최고 기술을 초월하는가?
• RQ5 고해상도 이미지 환경, 예를 들어 ImageNet-30에서 pNML 위상은 OOD 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• pNML 위상은 단일층 신경망에 대해 해석적으로 유도되었으며, 개별 설정 프레임워크에서 일반화 오차를 이론적으로 탄탄한 측정으로 제공한다.
• 시험 샘플이 훈련 데이터의 경험적 공분산 행렬의 고유값이 큰 고유벡터들이 생성하는 부분공간에 있을 경우 pNML 위상은 낮아지며, 이는 강건한 일반화를 나타낸다.
• 시험 샘플이 결정 경계에서 멀리 떨어져 있을 경우 pNML 위상도 낮아지며, 이는 이러한 입력에 대해 높은 예측 신뢰도를 시사한다.
• 사전 학습된 DNN의 마지막 레이어에 pNML 위상을 적용함으로써, 추가 매개변수나 데이터 없이 74개의 벤치마크에서 OOD 탐지 성능이 향상된다.
• 이 방법은 최신 기술 대비 최대 AUROC 향상 15.6%를 달성하였으며, 특히 iSUN 및 ImageNet(R)을 OOD 세트로 사용한 CIFAR-100에서 두드러진 성능 향상을 보였다.
• TPR 95%에서 TNR을 고려할 때, pNML 방법은 CIFAR-100 및 가우스 OOD 조합에서 성능을 90.4% 향상시켰으며, 일부 경우에서 완벽한 분리가 이루어졌다.