[논문 리뷰] Training OOD Detectors in their Natural Habitats

Julian Katz-Samuels, Julia Nakhleh외 2명|arXiv (Cornell University)|2022. 02. 07.

Anomaly Detection Techniques and Applications인용 수 15

한 줄 요약

이 논문은 외부 분포(OOD) 검출기를 레이블이 없는 '와일드(wild)' 데이터—내부 분포와 OOD 샘플의 자연스러운 혼합물—를 사용하여 훈련하는 데에 보조적인 외부 데이터가 필요하지 않은 새로운 제약 최적화 프레임워크 WOODS를 제안한다. 증강 라그랑주 방법을 통해 다루기 쉬운 최적화 문제로 공식화함으로써, WOODS는 상태 기준 성능을 달성하며, CIFAR-100에서 기준 방법 대비 FPR95에서 48.10% 향상되고, 아웃라이어 노출(Outlier Exposure) 대비 7.36% 향상된다.

ABSTRACT

Out-of-distribution (OOD) detection is important for machine learning models deployed in the wild. Recent methods use auxiliary outlier data to regularize the model for improved OOD detection. However, these approaches make a strong distributional assumption that the auxiliary outlier data is completely separable from the in-distribution (ID) data. In this paper, we propose a novel framework that leverages wild mixture data, which naturally consists of both ID and OOD samples. Such wild data is abundant and arises freely upon deploying a machine learning classifier in their natural habitats. Our key idea is to formulate a constrained optimization problem and to show how to tractably solve it. Our learning objective maximizes the OOD detection rate, subject to constraints on the classification error of ID data and on the OOD error rate of ID examples. We extensively evaluate our approach on common OOD detection tasks and demonstrate superior performance.

연구 동기 및 목표

• 기존의 수동으로 수집된 깔끔한 보조 외부 데이터셋에 의존하는 OOD 검출 방법의 한계를 해결하기 위해.
• 실제 운영 환경에서 사용 가능한 풍부한 레이블이 없는 '와일드' 데이터—내부 분포와 OOD 샘플의 자연스러운 혼합물—를 활용하기 위해.
• 내부 분포 분류 정확도를 유지하면서 내부 분포 데이터에 대한 OOD 탐지 오류를 최소화하는 제약 최적화 프레임워크를 개발하기 위해.
• 증강 라그랑주 방법을 사용해 딥 네트워크에 대한 다루기 쉬운 종단 간 훈련 절차를 제공하기 위해.

제안 방법

• OOD 검출을 제약 최적화 문제로 공식화: 내부 분포 오분류와 내부 분포 샘플에 대한 OOD 오차를 제약 조건으로 삼고, OOD 검출률을 최대화하기 위해.
• 부등식 제약 조건이 있는 제약 최적화 문제를 해결하기 위해 증강 라그랑주 방법(ALM)을 사용하여 확률적 경사 하강법을 통한 종단 간 훈련을 가능하게 하기 위해.
• 기존의 다루기 어려운 0-1 손실 대신 딥 러닝과 호환되는 가분한 시그모이드 손실 함수를 사용하기 위해.
• 레이블이 있는 내부 분포 데이터와 레이블이 없는 와일드 데이터만을 사용하여 내부 분포 분류 및 OOD 검출 목표를 통합된 훈련 목표로 통합하기 위해.
• 비선형 부등식 제약 조건을 갖는 딥 네트워크에 ALM를 적응시켜 강력한 이론적 보장을 확보하기 위해.
• 내부 분포 오차와 내부 분포 데이터에 대한 OOD 오차에 대한 제약 조건을 강제하기 위해 이중 상승 전략을 사용하여 기준 분류 정확도를 유지하기 위해.

실험 결과

연구 질문

• RQ1 정제된 외부 데이터셋에 접근할 수 없는 상태에서 레이블이 없는 와일드 데이터만으로 OOD 검출기를 효과적으로 훈련시킬 수 있는가?
• RQ2 딥 네트워크에 제약 최적화를 어떻게 적응시켜 내부 분포 분류와 OOD 검출을 동시에 최적화할 수 있는가?
• RQ3 자연스럽게 발생하는 데이터 혼합물을 활용하면 오프라인 보조 외부 데이터보다 실제 테스트 시 분포에 더 잘 일반화되는가?
• RQ4 와일드 데이터 내에서 내부 분포와 OOD 데이터의 혼합 비율을 변화시켰을 때 OOD 검출 성능에 어떤 영향을 미치는가?
• RQ5 보조 외부 데이터를 사용하는 강력한 기준 방법과 비교해 본다면, FPR95와 탐지 정확도 측면에서 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• CIFAR-100에서 WOODS는 내부 분포 데이터만으로 훈련된 강력한 기준 방법 대비 FPR95에서 48.10% 향상되었다.
• 아웃라이어 노출(OE) 대비 FPR95에서 7.36% 향상되어, 와일드 데이터가 정제된 보조 외부 데이터보다 우수함을 입증했다.
• 와일드 데이터 혼합 비율이 극도로 기울어져 있더라도, 내부 분포 분류 정확도는 거의 최적에 가깝게 유지하면서 OOD 검출 성능을 크게 향상시켰다.
• 제거 분석 결과, 다양한 데이터셋과 다양한 내부 분포 및 OOD 데이터 혼합 비율을 가진 와일드 데이터에서 뛰어난 성능을 보였다.
• 이론적 및 실증 분석을 통해 제약 최적화 프레임워크 내에서 시그모이드 손실의 선택이 효과적인 OOD 검출을 이끌어냄을 확인했다.
• 증강 라그랑주 방법은 강력한 수렴 보장을 제공하며 안정적이고 다루기 쉬운 훈련을 가능하게 하여, 정규화 기반 접근법을 능가했다.