[논문 리뷰] Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources

Haotian Zheng, Qizhou Wang외 5명|arXiv (Cornell University)|2023. 11. 06.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 보조 태스크 기반 OOD 학습(ATOL)을 제안한다. 이는 불신뢰할 수 있는, 잘못 생성된 OOD 데이터를 보조 탐지 태스크로 활용하여 실제 OOD 탐지 성능을 향상시키는 데이터 생성 기반 방법이다. 보조 ID 및 OOD 데이터 간의 지원이 서로 겹치지 않도록 하고, 실제 ID와 보조 ID 분포를 일치시킴으로써, ATOL은 잘못된 OOD 생성에도 불구하고 예측기가 강건하게 학습할 수 있도록 하여, CIFAR-10, CIFAR-100 및 ImageNet 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Out-of-distribution (OOD) detection discerns OOD data where the predictor cannot make valid predictions as in-distribution (ID) data, thereby increasing the reliability of open-world classification. However, it is typically hard to collect real out-of-distribution (OOD) data for training a predictor capable of discerning ID and OOD patterns. This obstacle gives rise to data generation-based learning methods, synthesizing OOD data via data generators for predictor training without requiring any real OOD data. Related methods typically pre-train a generator on ID data and adopt various selection procedures to find those data likely to be the OOD cases. However, generated data may still coincide with ID semantics, i.e., mistaken OOD generation remains, confusing the predictor between ID and OOD data. To this end, we suggest that generated data (with mistaken OOD generation) can be used to devise an auxiliary OOD detection task to facilitate real OOD detection. Specifically, we can ensure that learning from such an auxiliary task is beneficial if the ID and the OOD parts have disjoint supports, with the help of a well-designed training procedure for the predictor. Accordingly, we propose a powerful data generation-based learning method named Auxiliary Task-based OOD Learning (ATOL) that can relieve the mistaken OOD generation. We conduct extensive experiments under various OOD detection setups, demonstrating the effectiveness of our method against its advanced counterparts.

연구 동기 및 목표

• 내부 분포 데이터로 훈련된 생성기에서 내부 분포 의미를 가진 OOD 샘플을 생성하는 불신뢰할 수 있는 OOD 데이터 생성 문제를 해결하기 위해.
• 기존의 데이터 생성 기반 방법들이 잘못 생성된 OOD 데이터로 인해 실패하는 한계를 극복하기 위해.
• 불신뢰할 수 있는 생성된 데이터를 유의미한 보조 OOD 탐지 태스크로 구성함으로써 이를 유용하게 활용하는 방법을 제안하기 위해.
• 보조 ID 및 OOD 데이터가 서로 다른 지원을 가지며, 실제 ID와 보조 ID 데이터의 분포가 유사할 경우, 보조 태스크에서의 학습이 실제 OOD 탐지 성능 향상에 기여한다는 이론적 근거를 제시하기 위해.
• 다양한 OOD 탐지 설정(예: ImageNet 포함)에서 제안된 방법의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 보조 ID 및 OOD 데이터가 잠재 공간에서 명시적으로 분리되어 서로 다른 지원을 가지도록 보조 OOD 탐지 태스크를 구성한다.
• 모형의 ID 분포를 기반으로 한 혼합 정규분포(MoG)의 고밀도 영역을 피하고, 잠재 공간의 저밀도 영역에서 노이즈를 샘플링하여 보조 OOD 데이터를 생성하도록 생성기를 훈련시킨다.
• 예측기가 실제 OOD 탐지 태스크와 보조 태스크 양쪽에서 동시에 학습할 수 있도록 공동 훈련 절차를 설계함으로써 일반화 능력을 향상시킨다.
• 조건 C1(보조 ID 및 OOD 데이터 간의 지원이 분리되어야 함)은 명시적 잠재 공간 분할을 통해, 조건 C2(실제 ID 및 보조 ID 데이터의 분포 유사성)는 공통된 데이터 분포 모델링을 통해 강제한다.
• 공유된 특징 추출기와 실제 및 보조 OOD 탐지용 별도의 헤드를 갖춘 다중 헤드 예측기 구조를 사용하여 지식 전이를 가능하게 하면서도 태스크의 특수성을 유지한다.
• 실제 ID 및 보조 ID 데이터의 표현을 정렬하기 위해 대비 학습 기반 목적함수를 적용함으로써 도메인 일관성을 증진하고 분포 이탈에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 불신뢰할 수 있고 잘못 생성된 OOD 데이터도 여전히 실제 OOD 탐지 성능 향상에 활용될 수 있는가?
• RQ2 어떤 조건에서 잘못 생성된 데이터를 사용하는 보조 OOD 탐지 태스크에서의 학습이 실제 OOD 탐지 성능 향상에 기여하는가?
• RQ3 고차원 입력 공간에서 보조 ID 및 OOD 데이터 간의 지원이 분리되어 있도록 어떻게 보장할 수 있는가?
• RQ4 어떤 훈련 절차가 잘못된 OOD 생성에도 불구하고 보조 태스크가 실제 OOD 탐지 태스크에 유익한 영향을 미치도록 보장하는가?
• RQ5 다양한 벤치마크 설정에서 ATOL은 최신 기술 수준의 OOD 탐지 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• ATOL은 CIFAR-10에서 FPR95 14.27 ± 0.48, AUROC 97.44 ± 0.13을 기록하여 기존 방법들을 능가하는 최신 기술 수준 성능을 달성한다.
• CIFAR-100에서는 FPR95 56.92 ± 1.61, AUROC 88.38 ± 0.54를 기록하여 다양한 OOD 탐지 시나리오에서 강력한 일반화 능력을 보여준다.
• ImageNet에서는 다섯 번의 실행 평균 FPR95 51.84 ± 0.35, AUROC 85.85 ± 0.13를 기록하여 일관되고 강건한 성능을 보인다.
• 실제로 OOD 데이터에 ID 의미가 포함되어 있어도 성능이 안정적으로 유지됨으로써, 잘못된 OOD 생성의 부정적 영향을 크게 줄였다.
• 시각화 결과는 ATOL이 다양하고 의미적으로 구분되는 보조 OOD 샘플을 생성함을 확인하여, 서로 다른 잠재 공간 영역을 설계한 이론적 배경을 뒷받침한다.
• 제거 실험 결과 보조 태스크가 성능에 크게 기여함을 확인하였으며, 보조 헤드를 제거할 경우 CIFAR-10에서 AUROC가 최대 3.5% 감소하였다.