[논문 리뷰] Fine-grained Out-of-Distribution Detection with Mixup Outlier Exposure.

Jingyang Zhang, Nathan Inkawhich외 2명|arXiv (Cornell University)|2021. 06. 07.

Anomaly Detection Techniques and Applications인용 수 11

한 줄 요약

이 논문은 혼합 데이터 증강과 비지날 리스크 최소화를 통한 이상치 노출을 결합함으로써 세분화된 분포 외(Distribution-Outside, OOD) 탐지 성능을 향상시키는 새로운 훈련 방법인 Mixup 이상치 노출(MixupOE)을 제안한다. 이는 다섯 개의 새로 구축된 세분화된 OOD 탐지 벤치마크에서 기존 방법들보다 일관된 성능 향상을 보이며, 실제 고해상도 OOD 탐지 작업을 위한 더 강력한 기준을 설정한다.

ABSTRACT

Enabling out-of-distribution (OOD) detection for DNNs is critical for their safe and reliable operation in the open world. Unfortunately, current works in both methodology and evaluation focus on rather contrived detection problems, and only consider a coarse level of granularity w.r.t.: 1) the in-distribution (ID) classes, and 2) the OOD data's closeness to the ID data. We posit that such settings may be poor approximations of many real-world tasks that are naturally fine-grained (e.g., bird species classification), and thus the reported detection abilities may be over-estimates. Differently, in this work we make granularity a top priority and focus on fine-grained OOD detection. We start by carefully constructing five novel fine-grained test environments in which existing methods are shown to have difficulties. We then propose a new DNN training algorithm, Mixup Outlier Exposure (MixupOE), which leverages an outlier distribution and principles from vicinal risk minimization. Finally, we perform extensive experiments and analyses in our custom test environments and demonstrate that MixupOE can consistently improve fine-grained detection performance, establishing a strong baseline in these more realistic and challenging OOD detection settings.

연구 동기 및 목표

• 세분화된, 현실적이지 않은 탐지 설정에 치중된 기존 OOD 탐지 방법들 사이의 격차를 해소하기 위해, 세분화된 실생활 작업에 부적합한 설정을 다루는 데 목적이 있다.
• 실제 응용에서의 과제를 더 잘 반영하기 위해, 다섯 개의 새로운 세분화된 OOD 테스트 환경을 구축함으로써 더 현실적인 평가 프레임워크를 개발한다.
• 세분화된 분류 시나리오에서 OOD 샘플을 탐지할 능력을 향상시키는 새로운 훈련 알고리즘인 MixupOE를 제안한다.
• 광범위한 실험과 분석 연구를 통해 세분화된 OOD 탐지에 대해 강력하고 재현 가능한 기준을 확립한다.
• 현재 최고 성능(SOTA) 방법들이 세분화된 OOD 탐지에서 실패함을 입증함으로써, 훈련 및 평가 방식의 전환 필요성을 강조한다.

제안 방법

• 자연적이고 의미적으로 유사한 클래스(예: 새 종류)를 포함하는 다섯 개의 새로운 세분화된 OOD 탐지 벤치마크를 설계하여 실제 오픈 월드 시나리오를 시뮬레이션한다.
• 다양한 비-ID 이상치 분포를 사용하여 혼합 증강과 이상치 노출을 결합한 훈련 절차인 MixupOE를 도입한다.
• 비지날 리스크 최소화 원리를 활용하여 ID 다양체 근처의 OOD 샘플로의 일반화 능력을 향상시키도록 모델을 유도한다.
• ID 데이터, 혼합 증강으로 생성된 내삽 샘플, 그리고 합성 이상치 샘플의 조합을 사용하여 DNN을 훈련함으로써 결정 경계의 분리도를 향상시킨다.
• ID 클래스와 의미적으로 유사하지만 동일하지 않은 이상치 데이터를 시뮬레이션하기 위해 다양한 이상치 분포(예: ImageNet-300)를 사용한다.
• ID 데이터에 대한 교차 엔트로피 손실과 OOD 샘플에 대해 높은 신뢰도를 유도하는 수정된 OOD 손실을 사용하여 모델을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 의미적으로 유사한 클래스를 가진 세분화된 분류 작업에서 현재 최고 성능(SOTA)의 OOD 탐지 방법들은 어떤 성능을 보이는가?
• RQ2 혼합 증강과 이상치 노출을 결합한 훈련 전략이 세분화된 환경에서 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ3 이상치 분포의 선택이 세분화된 시나리오에서 OOD 탐지의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ4 기존 평가 프로토콜이 세분화되지 않은 가정에 기반하여 OOD 탐지 성능을 과도하게 평가하는 정도는 어느 정도인가?
• RQ5 MixupOE는 다양한 벤치마크 환경에서 세분화된 OOD 탐지에 대해 강력하고 일반화 가능한 기준이 될 수 있는가?

주요 결과

• 기존 OOD 탐지 방법들은 새로 구축된 세분화된 벤치마크에서 상당히 떨어진 성능을 보이며, 이는 이전 연구에서의 평가가 지나치게 낙관적임을 시사한다.
• MixupOE는 모든 다섯 개의 세분화된 테스트 환경에서 일관되게 OOD 탐지 성능을 향상시키며, 표준 이상치 노출 및 혼합 증강 전용 훈련과 같은 베이스라인 방법들을 능가한다.
• 혼합 증강과 이상치 노출의 통합은 특히 ID와 OOD 샘플이 의미적으로 유사한 영역에서 결정 경계 학습에 더 나은 성능을 보인다.
• 이상치 분포의 선택은 성능에 측정 가능한 영향을 미치며, 더 다양한 분포를 사용할수록 OOD 일반화 능력이 향상된다.
• 분석 연구를 통해 MixupOE의 혼합 증강 및 이상치 노출 구성 요소가 모두 검출 성능 향상에 기여하며, 두 요소의 조합이 상호보완적임을 확인한다.
• MixupOE는 다양한 현실적인 테스트 시나리오에서 강건성과 일반화 능력을 입증하며, 세분화된 OOD 탐지에 대해 새로운 강력한 기준을 설정한다.