[논문 리뷰] Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need

Jingyao Li, Pengguang Chen외 4명|arXiv (Cornell University)|2023. 02. 06.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 외부 분포(out-of-distribution, OOD) 탐지 프레임워크인 MOOD를 제안한다. MOOD는 외부 분포 샘플을 사용하지 않고도 강력한 내부 분포(in-distribution, ID) 표현을 학습하기 위해 마스킹된 이미지 모델링(Masked Image Modeling, MIM)을 자기지도 사전 과제(self-supervised pretext task)로 활용한다. 재구성 기반 학습에 초점을 맞추어, 여러 OOD 탐지 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성하며, 이는 이전 SOTA 방법보다 최대 5.7% 높은 AUROC 성능을 기록하며, 10샷의 이상 샘플 노출을 사용한 모델를 뛰어넘는 성능을 보인다.

ABSTRACT

The core of out-of-distribution (OOD) detection is to learn the in-distribution (ID) representation, which is distinguishable from OOD samples. Previous work applied recognition-based methods to learn the ID features, which tend to learn shortcuts instead of comprehensive representations. In this work, we find surprisingly that simply using reconstruction-based methods could boost the performance of OOD detection significantly. We deeply explore the main contributors of OOD detection and find that reconstruction-based pretext tasks have the potential to provide a generally applicable and efficacious prior, which benefits the model in learning intrinsic data distributions of the ID dataset. Specifically, we take Masked Image Modeling as a pretext task for our OOD detection framework (MOOD). Without bells and whistles, MOOD outperforms previous SOTA of one-class OOD detection by 5.7%, multi-class OOD detection by 3.0%, and near-distribution OOD detection by 2.1%. It even defeats the 10-shot-per-class outlier exposure OOD detection, although we do not include any OOD samples for our detection

연구 동기 및 목표

• 재구성 기반 자기지도 학습이 OOD 탐지에서 분류 기반 접근 방식보다 우월한가를 조사하는 것.
• 고성능 OOD 탐지에 외부 분포 샘플 노출이 필수적이라는 가정을 도전하는 것.
• MIM을 통한 내재된 데이터 분포 학습이 더 견고한 ID 표현 학습을 이끌 수 있음을 보여주는 것.
• OOD 데이터나 복잡한 아키텍처에 의존하지 않는 간단하고 효과적인 OOD 탐지 프레임워크를 구축하는 것.

제안 방법

• 방법론은 입력 이미지의 무작위 패치를 마스킹하고 모델이 이를 재구성하도록 훈련시키는 마스킹된 이미지 모델링(MIM)을 자기지도 사전 과제로 사용한다.
• 모델은 마스킹된 이미지 패치를 재구성하기 위해 이산 VAE 토큰을 지도 신호로 활용하여 픽셀 수준의 데이터 분포를 학습하도록 유도한다.
• 비전 트랜스포머 백본이 손상된 이미지 입력을 처리하고 누락된 패치를 예측함으로써 일반화 가능한 ID 표현을 학습한다.
• 최종적으로 OOD 탐지는 테스트 특징와 ID 훈련 특징 분포 간의 마할라노비스 거리(Mahalanobis distance)를 사용하여 수행된다.
• 훈련 또는 추론 과정에서 OOD 샘플을 사용하지 않아, 이 방법은 순수하게 ID에 집중되어 있다.
• 이 프레임워크는 일괄 분류, 다중 분류, 근접 분포, 소수의 이상 샘플 노출 OOD 탐지 작업 등 다양한 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 재구성 기반 자기지도 학습이 OOD 탐지에서 분류 기반 표현 학습보다 우월한가?
• RQ2 MIM을 통한 내재된 데이터 분포 학습이 분류 과제에서의 간편한 학습보다 OOD 탐지에 더 나은 일반화 성능을 제공하는가?
• RQ3 외부 분포 샘플 노출 없이도 SOTA 수준의 OOD 탐지 성능을 달성할 수 있는가?
• RQ4 MIM 기반 표현 학습은 이상 샘플 노출를 사용하는 최신 기술 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• MOOD는 일괄 분류 OOD 탐지에서 94.9%의 AUROC를 기록하여, 이전 SOTA(CSI) 대비 5.7% 향상되었으며, CIFAR-10에서의 성능이다.
• 다중 분류 OOD 탐지에서 MOOD는 97.6%의 AUROC를 달성하여 현재 SOTA(SSD+) 대비 3.0% 향상되었으며, CIFAR-10에서의 성능이다.
• 근접 분포 OOD 탐지에서 MOOD는 98.3%의 AUROC를 기록하여 SOTA(R50+ViT) 대비 2.1% 향상되었으며, CIFAR-10-CIFAR100 쌍에서의 성능이다.
• 소수의 이상 샘플 노출 OOD 탐지에서 MOOD는 OOD 샘플을 전혀 사용하지 않고도 99.41%의 AUROC를 기록하여, 10개의 OOD 샘플을 클래스당 사용한 SOTA(R50+ViT)의 99.29%를 뛰어넘었다.
• 다중 분류 탐지에서 MOOD는 SOTA(SSD+) 대비 평균 79% 감소한 OOD 샘플 오분류 수를 기록했으며, TPR 95%를 달성했다.
• 결과는 재구성 기반 자기지도 사전 학습이 분류 기반 또는 대비 학습 접근 방식보다 OOD 탐지에 더 효과적인 인덕티브 바이어스를 제공함을 보여준다.