[논문 리뷰] Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks

Shiyu Liang, Yixuan Li외 1명|arXiv (Cornell University)|2017. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 648

한 줄 요약

ODIN은 온도 스케일링과 입력 섭동을 사용하여 재훈련 없이 사전에 학습된 네트워크의 OOD 탐지를 개선하고 다양한 아키텍처 및 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

We consider the problem of detecting out-of-distribution images in neural networks. We propose ODIN, a simple and effective method that does not require any change to a pre-trained neural network. Our method is based on the observation that using temperature scaling and adding small perturbations to the input can separate the softmax score distributions between in- and out-of-distribution images, allowing for more effective detection. We show in a series of experiments that ODIN is compatible with diverse network architectures and datasets. It consistently outperforms the baseline approach by a large margin, establishing a new state-of-the-art performance on this task. For example, ODIN reduces the false positive rate from the baseline 34.7% to 4.3% on the DenseNet (applied to CIFAR-10) when the true positive rate is 95%.

연구 동기 및 목표

• 신경망 배포에서 안정적인 OOD 탐지의 필요성을 제시한다.
• 재훈련 없이 IN- 및 OUT- 분포 소프트맥스 점수를 구분하는 ODIN을 제안한다.
• 다양한 아키텍처와 데이터셋에서 ODIN을 평가하여 강건성과 베이스라인 대비 개선을 입증한다.
• 온도, 섭동, 데이터셋 간 거리의 탐지 성능에 미치는 영향을 분석한다.

제안 방법

• 소프트맥스 출력에 대해 매개변수 T로 온도 스케일링을 적용한다.
• 입력 기울기 방향으로 작은 입력 섭동을 추가하여 분리를 증폭한다.
• 섭동된 입력에 대해 보정된 소프트맥스 점수를 계산하고 임계값으로 OOD 샘플을 탐지한다.
• 별도의 OOD 검증 세트를 사용해 T, 섭동 크기 epsilon, 임계값 delta를 조정한다.
• FPR at 95% TPR, Detection Error, AUROC, 및 AUPR를 포함한 지표로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 사후(detector)로 일반적인 아키텍처에서 OOD 탐지를 개선할 수 있는가?
• RQ2 온도 스케일링과 입력 섭동이 IN- 및 OUT- 분포 샘플 간의 구분을 어떻게 강화하는가?
• RQ3 하이퍼파라미터(T, epsilon)가 데이터셋 간 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 조정된 파라미터는 서로 다른 OOD 데이터셋 간에 얼마나 전이 가능한가?

주요 결과

데이터셋 쌍 (내측 vs OOD)	95% TPR에서 FPR (ODIN)	탐지 오류 (ODIN)	AUROC (ODIN)	AUPR-In (ODIN)	AUPR-Out (ODIN)
CIFAR-10 vs TinyImageNet (crop)	4.3	4.7	99.1	99.1	99.1
CIFAR-10 vs TinyImageNet (resize)	7.5	6.1	98.5	98.6	98.5
CIFAR-10 vs LSUN (crop)	11.4	7.2	97.9	98.0	97.9

• ODIN은 베이스라인에 비해 OOD 탐지를 상당히 개선하며, 예를 들어 DenseNet-CIFAR-10 대비 TinyImageNet(crop)에서 95% TPR 시 FPR을 34.7%에서 4.3%로 낮춘다.
• ODIN은 DenseNet-BC-100 및 Wide ResNet 아키텍처에서 여러 OOD 데이터셋(TinyImageNet, LSUN, Gaussian/Uniform 잡음)에서 강한 성능을 유지한다.
• 큰 온도 T(예: 1000)와 신중하게 선택된 섭동 epsilon을 조합하면 IN- 및 OUT- 분포 예제 간의 분리성을 크게 높일 수 있다.
• 한 검증 OOD 세트에서 조정된 하이퍼파라미터가 비슷한 성능으로 다른 OOD 테스트 세트에 잘 일반화되어 파라미터 전이 가능성을 시사한다.
• ODIN의 성능은 OOD 데이터셋 간 거리(MMD)가 증가하면 일반적으로 향상되는 경향이 있으며, 분포가 더 가까울수록 탐지가 더 어려워진다.