[논문 리뷰] Diversified Outlier Exposure for Out-of-Distribution Detection via Informative Extrapolation

Jianing Zhu, Yu Geng외 5명|arXiv (Cornell University)|2023. 10. 21.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 다단계 최적화와 정보적인 외삽을 통해 더 유informative한 이상치를 합성함으로써 분포 외(OOD) 탐지 성능을 향상시키는 새로운 프레임워크인 다각도 이상치 노출(DivOE)을 제안한다. 원래 데이터를 초월해 보조 이상치 분포를 다양화함으로써 DivOE는 OOD 일반화 성능을 향상시키고, CIFAR-10, CIFAR-100, ImageNet 등 다양한 벤치마크에서 FPR95가 낮은 수준으로 최첨단 성능을 달성한다.

ABSTRACT

Out-of-distribution (OOD) detection is important for deploying reliable machine learning models on real-world applications. Recent advances in outlier exposure have shown promising results on OOD detection via fine-tuning model with informatively sampled auxiliary outliers. However, previous methods assume that the collected outliers can be sufficiently large and representative to cover the boundary between ID and OOD data, which might be impractical and challenging. In this work, we propose a novel framework, namely, Diversified Outlier Exposure (DivOE), for effective OOD detection via informative extrapolation based on the given auxiliary outliers. Specifically, DivOE introduces a new learning objective, which diversifies the auxiliary distribution by explicitly synthesizing more informative outliers for extrapolation during training. It leverages a multi-step optimization method to generate novel outliers beyond the original ones, which is compatible with many variants of outlier exposure. Extensive experiments and analyses have been conducted to characterize and demonstrate the effectiveness of the proposed DivOE. The code is publicly available at: https://github.com/tmlr-group/DivOE.

연구 동기 및 목표

• 기존 이상치 노출(OE) 방법이 제한적이고 비대표적인 보조 이상치에 의존함으로써 분포 내 및 분포 외 데이터 간 경계를 충분히 커버하지 못할 수 있는 심각한 과제를 해결한다.
• 제공된 보조 이상치가 충분히 정보적이거나 다양하지 않은 상황에서 OOD 탐지 성능을 향상시키는 방법을 탐구한다.
• 더 많은 정보를 지닌 외삽된 이상치를 생성하여 보조 OOD 분포를 능동적으로 확장함으로써 분포 간 격차를 메우는 프레임워크를 개발한다.
• 다양한 OE 변종 및 백본 아키텍처와의 호환성을 확보하여 실용적 활용성을 극대화한다.
• 특히 보조 이상치의 데이터가 적은 상황에서 다양한 OOD 탐지 벤치마크에서 일관된 성능 향상을 입증한다.

제안 방법

• 원래 이상치와 합성된 외삽된 이상치 간의 분산을 명시적으로 최대화하는 새로운 학습 목표를 제안하여 다양성과 정보성 향상을 유도한다.
• 모델의 불확실성과 기울기 신호에 따라 고영향도 방향으로 원래 보조 이상치를 변형함으로써 신규 이상치를 생성하는 다단계 최적화 프로세스를 구현한다.
• 표준 OE 미세조정을 통해 외삽된 이상치를 학습 과정에 통합함으로써 모델이 더 넓은 OOD 경계를 학습할 수 있도록 한다.
• 외삽과 함께 믹업 스타일 데이터 증강을 활용하여 일반화 성능과 강건성을 추가로 향상시킨다.
• 에너지 기반 점수와 손실 차이 분석을 통해 생성된 이상치의 정보성 검증을 수행하여, 이들이 중요한 결정 영역 내에 위치함을 보장한다.
• 다양한 OOD 탐지 방법(예: Energy, NTOM, POEM, OE)과 백본 네트워크와의 호환성을 확보한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 보조 이상치가 대표성이 없거나 결정 경계 근처에서 흐릿할 경우, OOD 탐지 성능을 향상시킬 수 있는가?
• RQ2 더 많은 정보를 지닌 이상치를 체계적으로 생성하여 미리 보지 않은 OOD 입력으로의 일반화를 향상시킬 수 있는가?
• RQ3 원래 보조 이상치 분포를 초월해 외삽함으로써 더 넓고 강건한 OOD-강건한 결정 경계를 얻을 수 있는가?
• RQ4 다양한 수의 보조 이상치에서 DivOE의 성능이 표준 OE 및 기타 최첨단 방법과 비교해 어떻게 다를까?
• RQ5 다양한 변형 크기(ε)가 생성된 이상치의 품질과 정보성에 어떤 영향을 미치는가?

주요 결과

• DivOE는 OE와 믹업을 결합했을 때 CIFAR-10 및 CIFAR-100 벤치마크에서 최첨단 성능을 달성하며, 평균 FPR95를 4.97%로 낮춘다.
• CIFAR-100에서 DivOE+Mixup는 FPR95 4.97%와 AUROC 76.06%를 기록하여 표준 OE 및 기타 베이스라인을 압도한다.
• 보조 이상치가 1,000개 뿐인 상황에서도 DivOE는 강력한 성능(FPR95 ≈ 48.35%)을 유지하며, 표준 OE(FPR95 ≈ 54.31%)보다 우수한 강건성을 보여준다.
• 원래 이상치와 외삽된 이상치 간의 OOD 손실 차이는 ε가 증가함에 따라 증가하며, ε=0.2에서 최고치 20.29를 기록하고 ε=0.5에선 24.16에 도달하여 모델이 점점 더 정보적인 샘플에서 학습하고 있음을 확인한다.
• 시각화 결과 외삽된 이상치가 결정 경계 근처에서 이전에 탐색되지 않은 특징 공간 영역을 커버하고 있음을 보여준다.
• 에너지, NTOM, POEM 등 다양한 OOD 탐지 헤드에서 효과적이며, 광범위한 호환성과 일반화 능력을 입증한다.