[논문 리뷰] Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data

Yen-Chang Hsu, Yilin Shen외 2명|arXiv (Cornell University)|2020. 02. 26.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 35

한 줄 요약

The paper proposes learning OoD detection without OoD data by decomposing confidence into h and g components (DeConf) and a modified input preprocessing strategy, achieving strong performance across multiple datasets without OoD tuning.

ABSTRACT

Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN, proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.

연구 동기 및 목표

• OoD 탐지를 OoD 데이터 튜닝에 의존하지 않는 개방형 세계 가정 하에서 동기화합니다.
• 분류기의 신뢰도를 인-도메인 용어와 도메인 용어로 분해하는 dividend/divisor(DeConf) 분류기 설계를 도입합니다.
• 입력 전처리(IPP)를 수정하여 분포 내 데이터만으로 임펄트 크기 perturbation의 크기를 조정합니다.
• 표준 및 대규모 OoD 벤치마크에서의 광범위한 실증 분석을 통해 시맨틱 시프트와 비시맨틱 시프트를 이해합니다.

제안 방법

• p(y|d_in, x)를 p(y, d_in|x) / p(d_in|x)로 분해하는 확률적 관점을 도입하고 이를 f_i(x) = h_i(x)/g(x) 형태의 dividend/divisor 구조로 구현합니다.
• penultimate-layer 특징(I, E, C 변형)에서 내적, 유클리드 거리, 코사인 유사도 등을 사용하여 h_i(x)를 설계합니다.
• 두 개의 분기(h_i와 g)로 p(y, d_in|x)에 대해 교차 엔트로피를 최대화하도록 학습하여, 분해된 신뢰도가 인-디스트리뷰션 신호와 아웃-오브-디스트리션 신호를 분리하도록 유도합니다.
• confidence를 보정하고 OoD 구분성을 개선하기 위해 g(x)를 학습된 온도 유사 함수로 사용합니다.
• IPP를 수정하여 in-distribution 데이터에 기반한 단일 perturbation 크기 epsilon*를 선택하고 S(x)를 최대화합니다.
• OoD 데이터 없이 ID-validated 평가를 수행하고 ODIN 및 Mahalanobis 베이스라인과 비교합니다( OoD 튜닝 없이).

실험 결과

연구 질문

• RQ1 OoD 데이터에 접근하지 않고 하이퍼파라미터를 튜닝하는 방식으로 OoD 탐지는 어떻게 수행될 수 있는가?
• RQ2 dividend/divisor 구조로 신뢰도 분해가 OoD 데이터를 사용하지 않고 OoD 구분성을 향상시키는가?
• RQ3 오직 분포 내 데이터만으로 학습된 입력 교란 전략이 다양한 데이터셋에서 OoD 탐지를 효과적으로 향상시키는가?
• RQ4 시맨틱 시프트와 비시맨틱 시프트가 OoD 탐지 방법의 성능에 어떤 영향을 미치는가?
• RQ5 h_i(x)(I, E, C) 형식과 g(x)의 다양한 조합이 강건성과 확장성에 어떤 영향을 주는가?

주요 결과

• DeConf 변형은 OoD 데이터를 사용하지 않고도 AUROC 및 TNR@TPR95에서 데이터 세트 간의 개선을 통해 baseline보다 OoD 탐지를 크게 향상시킵니다.
• DeConf-E 및 DeConf-C 변형은 분포 내 클래스 수가 증가함에 따라 가장 우수한 강건성과 확장성을 보여주는 경향이 있습니다.
• 입력 IPP를 위한 단일 in-distribution 데이터 기반 epsilon*는 OoD 구분성을 강하게 달성하게 하여 OoD 데이터 튜닝에 대한 의존도를 줄입니다.
• DeConf와 수정된 IPP의 결합은 많은 벤치마크에서 강력한 ODIN*, Mahalanobis* 대비 우수한 성능을 보입니다.
• 시맨틱 시프트와 비시맨틱 시프트는 OoD 탐지 난이도에 차이를 보이며, 일반적으로 시맨틱 시프트가 더 도전적이다.
• 추가 정규화가 DeConf-I 및 g(x) 성능을 개선하여 dividend/divisor 설계에서 과적합 고려가 필요함을 시사합니다.