[논문 리뷰] POEM: Out-of-Distribution Detection with Posterior Sampling

Yifei Ming, Ying Fan외 1명|arXiv (Cornell University)|2022. 06. 28.

Anomaly Detection Techniques and Applications인용 수 16

한 줄 요약

POEM은 분포 외(OOD) 탐지용 사후 표본 추출 기반의 이상치 탐색 프레임워크를 제안하며, 내재 분포(ID)와 OOD 데이터 사이의 결정 경계 근처에 있는 정보성 있는 이상치를 선택하여 모델의 일반화 능력을 향상시킨다. 탐색과 이용의 균형을 이루기 위해 톰슨 표본 추출을 활용함으로써 POEM은 최신 기술 수준의 성능을 달성하여, 탐욕적 표본 추출 기반 기준 대비 CIFAR-10과 CIFAR-100에서 각각 FPR95를 42.0% 및 24.2% 향상시켰다.

ABSTRACT

Out-of-distribution (OOD) detection is indispensable for machine learning models deployed in the open world. Recently, the use of an auxiliary outlier dataset during training (also known as outlier exposure) has shown promising performance. As the sample space for potential OOD data can be prohibitively large, sampling informative outliers is essential. In this work, we propose a novel posterior sampling-based outlier mining framework, POEM, which facilitates efficient use of outlier data and promotes learning a compact decision boundary between ID and OOD data for improved detection. We show that POEM establishes state-of-the-art performance on common benchmarks. Compared to the current best method that uses a greedy sampling strategy, POEM improves the relative performance by 42.0% and 24.2% (FPR95) on CIFAR-10 and CIFAR-100, respectively. We further provide theoretical insights on the effectiveness of POEM for OOD detection.

연구 동기 및 목표

• 기존 OOD 탐지 방법들이 낮은 표본 추출 전략으로 인해 보조 이상치 데이터를 효율적으로 활용하지 못하는 문제를 해결하기 위해.
• 내재 분포와 OOD 데이터 사이의 결정 경계를 작고 효율적인 형태로 학습시켜 모델의 일반화 능력을 향상시키기 위해.
• 이상치 탐색을 결정 경계에 가까운 정도를 기반으로 한 보상 함수를 갖는 순차적 의사결정 문제로 수식화하기 위해.
• 탐색과 이용을 균형 잡는 실용적이고 종단 간 훈련이 가능한 프레임워크를 개발하여 이상치 선택 과정에서의 균형을 확보하기 위해.
• 높은 경계 점수를 가진 이상치를 선택하는 표본 효율성에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 행동는 이상치 선택이며 보상은 경계 점수에 기반하는 연속적 결정 문제로 이상치 탐색을 문맥 기반 밴드잇 문제로 수식화한다.
• ID와 OOD 데이터 사이의 경계에 가까운 이상치일수록 더 높은 값을 할당하는 새로운 경계 점수 메트릭을 정의한다.
• 이상치 선택 과정에서 탐색과 이용의 균형을 이루기 위해 톰슨 표본 추출(사후 표본 추출)을 적용하여 대규모 보조 이상치 풀에서 적응적인 표본 추출을 가능하게 한다.
• 딥 네URAL 네트워크 특징 표현에 기반한 베이지안 선형 회귀를 사용하여 계산이 불가능한 사후 분포를 근사한다.
• 훈련 중 주기적으로 사후 분포를 갱신하여 추정된 결정 경계를 정교화하고 표본 추출 품질을 향상시킨다.
• 딥 네URAL 네트워크와 종단 간 통합하여 분류기와 이상치 선택 전략을 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사후 표본 추출 기반의 이상치 탐색이 무작위 또는 탐욕적 표본 추출 전략에 비해 OOD 탐지 성능을 향상시키는가?
• RQ2 높은 경계 점수를 가진 이상치를 선택할 경우 결정 경계의 수축성과 일반화 능력은 어떻게 영향을 받는가?
• RQ3 OOD 탐지에서 높은 경계 점수를 가진 이상치 선택의 표본 효율성에 대한 이론적 근거는 무엇인가?
• RQ4 탐색과 이용을 균형 잡는 베이지안 프레임워크가 OOD 탐지의 이상치 탐색에서 탐욕적 방법을 능가하는가?
• RQ5 POEM의 성능은 다양한 OOD 벤치마크와 데이터셋에서 어떻게 스케일링되는가?

주요 결과

• POEM은 표준 OOD 탐지 벤치마크에서 최신 기술 수준의 성능을 달성하여, 무작위 또는 탐욕적 표본 추출을 사용하는 기존 방법들을 능가한다.
• CIFAR-10에서 POEM은 현재 최고의 탐욕적 표본 추출 방법 대비 상대적 FPR95 성능을 42.0% 향상시켰다.
• CIFAR-100에서 POEM은 동일한 탐욕적 기준 대비 상대적 FPR95 성능을 24.2% 향상시켰다.
• 프레임워크는 기준 방법들과 비교해 유사한 계산 효율성을 유지하면서도 강력한 경험적 성능을 보였다.
• 이론적 분석을 통해 높은 경계 점수를 가진 이상치를 선택하면 정보가 적은 샘플의 수를 줄여 효과적인 정규화를 위해 필요한 샘플 수를 감소시켜 표본 효율성을 향상시킨다.
• POEM의 사후 표본 추출 메커니즘이 이상치 공간의 더 나은 탐색을 가능하게 하여 더 견고하고 일반화 능력이 뛰어난 결정 경계를 도출한다.