[논문 리뷰] MOS: Towards Scaling Out-of-distribution Detection for Large Semantic Space

Rui Huang, Yixuan Li|arXiv (Cornell University)|2021. 05. 05.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 9

한 줄 요약

이 논문은 대규모 의미 공간을 개념적으로 유사한 그룹으로 분해하여 결함 경계를 단순화함으로써 군집 기반의 이상치 탐지(OOD) 프레임워크인 MOS(Minimum Others Score)를 제안한다. 그룹별 소프트맥스에 전용 '다른 것들(others)' 카테고리와 모든 그룹에서의 최소 신뢰도를 활용함으로써, 기존 방법에 비해 14.33% 낮은 평균 FPR95와 ImageNet-1k에서 6배 빠른 추론 속도를 달성하며 최신 기술 수준(SOTA) 성능을 확보한다.

ABSTRACT

Detecting out-of-distribution (OOD) inputs is a central challenge for safely deploying machine learning models in the real world. Existing solutions are mainly driven by small datasets, with low resolution and very few class labels (e.g., CIFAR). As a result, OOD detection for large-scale image classification tasks remains largely unexplored. In this paper, we bridge this critical gap by proposing a group-based OOD detection framework, along with a novel OOD scoring function termed MOS. Our key idea is to decompose the large semantic space into smaller groups with similar concepts, which allows simplifying the decision boundaries between in- vs. out-of-distribution data for effective OOD detection. Our method scales substantially better for high-dimensional class space than previous approaches. We evaluate models trained on ImageNet against four carefully curated OOD datasets, spanning diverse semantics. MOS establishes state-of-the-art performance, reducing the average FPR95 by 14.33% while achieving 6x speedup in inference compared to the previous best method.

연구 동기 및 목표

• CIFAR와 같은 소규모 데이터셋을 초월해 대규모 이미지 분류에서 이상치 탐지에 대한 핵심 격차를 메우기 위해.
• 수천 개의 의미 클래스를 포함하는 고차원 클래스 공간을 효과적으로 다룰 수 있는 확장 가능한 OOD 탐지 프레임워크를 개발하기 위해.
• 유사한 개념을 의미적으로 그룹화하여 결함 경계를 단순화함으로써 OOD 탐지의 불확실성을 줄이기 위해.
• 보조 이상치 데이터가 필요 없이 대규모 환경에서 탐지 성능과 추론 효율성을 동시에 향상시키기 위해.
• 미래의 대규모 OOD 탐지 연구를 위한 현실적인 벤치마킹을 가능하게 하는 다양한 고해상도 OOD 평가 데이터셋을 구축하기 위해.

제안 방법

• 의미적 유사성 기반으로 대규모 의미 공간을 더 작은 의미적으로 일관된 그룹으로 분해하여 결함 경계 복잡도를 감소시키기 위해.
• 각 그룹 내에서 확률 분포를 계산하는 그룹별 소프트맥스를 도입하며, OOD 가능성에 대해 전용 '다른 것들' 카테고리를 포함시킨다.
• 모든 그룹에서 '다른 것들' 카테고리에 대한 최소 신뢰도로 정의된 최소 다른 것들 점수(MOS)를 최종 OOD 점수로 사용한다.
• MOS 점수를 활용해 '다른 것들'에 대한 모든 그룹에서 높은 신뢰도를 보이는 이상치 입력과 진짜 그룹에서 '다른 것들'에 대한 낮은 신뢰도를 보이는 내재 입력을 구분한다.
• OOD 탐지 성능을 유지하면서 효율성을 향상시키기 위해 사전 학습된 BiT-S 모델의 상단 완전 연결층만 미세조정한다.
• ImageNet-1k에서 학습된 모델에 프레임워크를 적용하고, 다양한 의미를 지닌 고해상도 OOD 데이터셋 4종에 대해 평가한다.

Figure 1 : Top : Examples of in-distribution images sampled from ImageNet-1k (in green ) and OOD images sampled from 4 datasets described in Section 4.1 (in orange ). Bottom : Overview of the proposed group-based OOD detection framework. The key idea is to decompose the large semantic space into sma

실험 결과

연구 질문

• RQ1 1,000개 이상의 클래스를 포함하는 대규모 이미지 분류에서, 기존의 소규모 벤치마크에 맞춰진 방법들에 비해 이상치 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 의미적으로 유사한 클래스를 그룹화하면 고차원 의미 공간에서 이상치 결함 경계를 단순화하고 불확실성을 감소시킬 수 있는가?
• RQ3 MOS 점수 함수는 MSP, ODIN, KL 매칭 등 기존 OOD 탐지 방법들에 비해 정확도와 추론 속도 측면에서 어떻게 비교되는가?
• RQ4 다양한 그룹화 전략, 모델 아키텍처, 미세조정 설정이 대규모 환경에서 OOD 탐지 성능에 어떤 영향을 미치는가?
• RQ5 보조 이상치 데이터나 복잡한 학습 절차 없이도 군집 기반 프레임워크가 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MOS는 이전 최고 성능 방법에 비해 네 종류의 다양한 OOD 데이터셋에서 평균 FPR95를 14.33% 낮추며 뛰어난 탐지 성능을 입증한다.
• 탐지 정확도를 유지하거나 향상시키면서도 추론 시간을 6배 빠르게 하여 실시간 구현에 매우 효율적임을 입증한다.
• 상단 완전 연결층만 미세조정하는 것이 깊은 층을 미세조정하는 것보다 더 나은 OOD 탐지 성능을 제공하며, 레이블 과적합 위험을 줄이는 데 기여한다.
• MSP나 KL 매칭과 같은 기준 방법에 비해 군집 기반 접근이 클래스 수가 50에서 1,000으로 증가함에 따라 뚜렷하게 뛰어난 성능을 보인다.
• 실생활 고해상도 데이터베이스에서 수집한 다양한 OOD 평가 데이터셋은 합성 또는 단순화된 벤치마크보다 대규모 OOD 탐지에 대해 더 현실적인 기준을 제공한다.

Figure 2 : OOD detection performance of a common baseline MSP [ 16 ] decreases rapidly as the number of ImageNet-1k classes increases ( left : AUROC; right : FPR95).