[논문 리뷰] VOS: Learning What You Don't Know by Virtual Outlier Synthesis

Xuefeng Du, Zhaoning Wang외 2명|arXiv (Cornell University)|2022. 02. 02.

Anomaly Detection Techniques and Applications인용 수 77

한 줄 요약

VOS는 특징 공간에서 가상 이상치를 합성하여 모델을 규칙화하고 더 나은 OOD 탐지를 위한 프레임워크를 제시하며, 실제 이상치 데이터 없이 객체 탐지와 이미지 분류 모두에서 강력한 결과를 달성합니다.

ABSTRACT

Out-of-distribution (OOD) detection has received much attention lately due to its importance in the safe deployment of neural networks. One of the key challenges is that models lack supervision signals from unknown data, and as a result, can produce overconfident predictions on OOD data. Previous approaches rely on real outlier datasets for model regularization, which can be costly and sometimes infeasible to obtain in practice. In this paper, we present VOS, a novel framework for OOD detection by adaptively synthesizing virtual outliers that can meaningfully regularize the model's decision boundary during training. Specifically, VOS samples virtual outliers from the low-likelihood region of the class-conditional distribution estimated in the feature space. Alongside, we introduce a novel unknown-aware training objective, which contrastively shapes the uncertainty space between the ID data and synthesized outlier data. VOS achieves competitive performance on both object detection and image classification models, reducing the FPR95 by up to 9.36% compared to the previous best method on object detectors. Code is available at https://github.com/deeplearning-wisc/vos.

연구 동기 및 목표

• 실제 이상치 데이터 세트에 의존하지 않고 미지의 상황에서 견고한 OOD 탐지를 촉진한다.
• ID 성능을 최적화하면서 OOD 불확실성을 개선하는 이중 목표를 학습한다.
• 특징 공간에서 정보성 있는 가상 이상치를 합성하는 실용적인 방법을 제안한다.
• ID와 OOD 데이터 사이의 불확실성 경계를 형성하는 미지향 학습 목표를 개발한다.
• 객체 탐지와 이미지 분류 작업 모두에 OOD 탐지 기술을 확장한다.

제안 방법

• 감지기로부터 추출된 잠재 공간에서 ID 특징 표현을 클래스 조건부 가우시안으로 모델링한다.
• 특징 공간에서 각 클래스 조건부 가우시안의 가능도 낮은 영역에서 가상 이상치를 샘플링한다.
• 잠재 특징에 선형 변환을 통해 가상 이상치에 대한 분류 출력을 정의한다.
• 출력의 에너지 함수에 기반한 불확실성 규제 손실을 도입하고 로지스틱 대리손실로 최적화한다.
• 추론 시 인스턴스 수준에서 OOD 탐지를 가능하게 하기 위해 객체 수준의 에너지 점수를 적용한다.
• 하이퍼파라미터로 지배되는 불확실성 규제 항목과 함께 표준 탐지 손실로 객체 검출기를 공동 학습한다.

실험 결과

연구 질문

• RQ1 실제 이상치 데이터 세트 없이 미지의 Out-Of-Distribution 데이터를 효과적으로 합성할 수 있는 방법은?
• RQ2 특징 공간의 가상 이상치가 ID 정확도를 유지하면서 OOD 탐지를 개선하는 의미 있는 규제 신호를 제공할 수 있을까?
• RQ3 미지 인지(unknown-aware) 목표가 객체 탐지와 이미지 분류 모두에 대해 OOD 탐지를 개선할까?
• RQ4 이상치 합성에서 특징 공간 샘플링과 픽셀 공간 샘플링의 영향은 무엇인가?

주요 결과

• VOS는 ID 데이터만 사용하는 강력한 기준선과 비교하여 객체 탐지와 이미지 분류 모두에서 경쟁력 있거나 우수한 OOD 탐지 성능을 제공한다.
• 특징 공간에서 가상 이상치를 합성하는 것이 GAN으로 픽셀 공간 이상치를 생성하거나 노이즈를 사용하는 것보다 더 효과적이고 안정적이다.
• 에너지 기반의 학습 가능한 불확실성 손실(로지스틱 대리손실 포함)은 추가 하이퍼파라미터 없이 ID와 가상 이상치 간의 분리를 개선한다.
• ID 작업 성능(예: mAP 또는 분류 정확도)을 유지하면서 OOD 탐지를 개선한다.
• 이 방법은 ResNet-50, RegNet 등 다양한 아키텍처와 PASCAL-VOC, BDD-100k 같은 복잡한 객체 탐지 벤치마크와 표준 이미지 분류 벤치마크를 포함한 작업 전반에 적용 가능하다.