[논문 리뷰] ViM: Out-Of-Distribution with Virtual-logit Matching

Haoqi Wang, Zhizhong Li외 2명|arXiv (Cornell University)|2022. 03. 21.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 BiT-S 모델을 사용할 때 네 가지 과도한 분포(OOD) 벤치마크에서 평균 AUROC 90.91%를 기록하며 최신 기술을 초월하는 성능을 달성한 새로운 OOD 검출 방법인 가상 로짓 매칭(ViM)을 제안한다. ViM은 특성 잔차와 클래스에 의존하는 로짓을 결합하여 특성 잔차에서 가상의 OOD 로짓을 생성하고, 스케일링을 통해 평균 최대 로짓과 매칭한다.

ABSTRACT

Most of the existing Out-Of-Distribution (OOD) detection algorithms depend on single input source: the feature, the logit, or the softmax probability. However, the immense diversity of the OOD examples makes such methods fragile. There are OOD samples that are easy to identify in the feature space while hard to distinguish in the logit space and vice versa. Motivated by this observation, we propose a novel OOD scoring method named Virtual-logit Matching (ViM), which combines the class-agnostic score from feature space and the In-Distribution (ID) class-dependent logits. Specifically, an additional logit representing the virtual OOD class is generated from the residual of the feature against the principal space, and then matched with the original logits by a constant scaling. The probability of this virtual logit after softmax is the indicator of OOD-ness. To facilitate the evaluation of large-scale OOD detection in academia, we create a new OOD dataset for ImageNet-1K, which is human-annotated and is 8.8x the size of existing datasets. We conducted extensive experiments, including CNNs and vision transformers, to demonstrate the effectiveness of the proposed ViM score. In particular, using the BiT-S model, our method gets an average AUROC 90.91% on four difficult OOD benchmarks, which is 4% ahead of the best baseline. Code and dataset are available at https://github.com/haoqiwang/vim.

연구 동기 및 목표

• 특성, 로짓, 소프트맥스 확률 중 하나의 정보원에 의존하는 기존 OOD 검출 방법의 한계를 해결하기 위해 다수의 정보원을 융합함으로써 성능 향상을 도모하고자 한다.
• 특성 공간에서는 쉽게 탐지될 수 있지만 로짓 공간에서는 탐지하기 어려운, 매우 다양한 OOD 샘플에 대해 강건성을 확보하고자 한다.
• 재학습이 필요 없고 사전 학습된 모델에 적용 가능한 빠르고 추론 효율적인 OOD 점수 함수를 개발하고자 한다.
• ImageNet-1K를 대상으로 한 대규모, 인간에 의해 애너테이션된 현실적인 OOD 벤치마크를 구축하여 OOD 검출 방법의 공정하고 의미 있는 평가를 가능하게 하고자 한다.

제안 방법

• ViM은 훈련 데이터의 특성 주공간에 대해 입력 특성의 잔차를 계산하여 가상의 OOD 클래스를 생성한다.
• 이 잔차는 훈련 샘플의 평균 최대 로짓과 일치하도록 스케일링되어 로짓으로 변환된다.
• OOD 점수는 이 가상 로짓의 소프트맥스 확률로 정의되며, 이는 OOD 샘플에 대한 신뢰도 측정 기준이 된다.
• 이 방법은 특성 잔차에서 유도된 클래스에 무관한 정보와 원래 로짓에서 유도된 클래스에 의존하는 정보를 모두 활용하여 상호보완적인 검출이 가능하다.
• 스케일링 인자는 훈련 세트 전반의 평균 최대 로짓과 일치하도록 조정되는 학습 가능한 상수이다.
• 이 방법은 CNN과 비전 트랜스포머 모두와 호환되며, 모델의 미세조정이나 재학습이 필요하지 않다.

Figure 1 : The AUROC (in percentage) of nine OOD detection algorithms applied to a BiT model trained on ImageNet-1K. The OOD datasets are ImageNet-O ( $x$ -axis) and OpenImage-O ( $y$ -axis). Methods marked with box $\Box$ use the feature space; methods with triangle $\triangle$ use the logit; and m

실험 결과

연구 질문

• RQ1 특성 수준과 로짓 수준의 신호를 융합하면 단일 정보원 기반 방법보다 OOD 검출 성능을 향상시킬 수 있는가?
• RQ2 제안된 가상 로짓 매칭 메커니즘은 기존의 OOD 점수 함수와 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ3 대규모, 인간에 의해 애너테이션된 OOD 벤치마크를 사용할 경우 OOD 검출 모델 평가에 어떤 영향을 미치는가?
• RQ4 ViM 방법은 ResNet과 비전 트랜스포머와 같은 다양한 아키텍처로 일반화되는가?
• RQ5 특성 계층 구조 기반의 그룹화 전략은 특히 비전 트랜스포머에서 ViM의 성능에 어떤 영향을 미치는가?

주요 결과

• BiT-S 모델에 적용했을 때 ViM은 네 가지 과도한 분포(OOD) 벤치마크에서 평균 AUROC 90.91%를 기록했으며, 최고의 베이스라인보다 4%포인트 높은 성능을 보였다.
• 기존의 벤치마크보다 8.8배 큰 크기이며 인간에 의해 애너테이션된 새로운 OpenImage-O 데이터셋에서 ViM은 AUROC 97.61%와 FPR95 12.61%를 기록했다.
• 테스트된 네 가지 경쟁 OOD 방법 중에서 ViM은 가장 빠른 성능을 보였으며, OpenImage-O에서 추론 시간은 1.49초였고, KL 매칭의 249.97초, 마할라노비스 거리의 2135.13초에 비해 빠르게 작동했다.
• 비전 트랜스포머에 적용해도 ViM은 효과적이었으며, ViT에서 OpenImage-O에서 AUROC 97.64%를 기록했고, 대부분의 설정에서 MSP와 MaxGroup을 능가했다.
• 비전 트랜스포머에서 특성 계층 구조 기반의 그룹화 전략은 ViM의 성능 향상에 거의 기여하지 않았다. 이는 ViM의 성능가 강건하고 클래스 계층에 민감하지 않음을 시사한다.
• 시각화 결과는 ViM이 특성 기반 방법(예: 잔차)이나 로짓 기반 방법(예: KL 매칭)과 다른 OOD 예제를 탐지하는 것으로 확인되었으며, 이는 ViM의 상호보완적 검출 능력을 뒷받침한다.

Figure 2 : Comparison of AUROC for OOD detection algorithms that are based on probability (marked with diamond $\Diamond$ ), logit ( $\triangle$ ), and feature ( $\Box$ ) of 9 OOD detection algorithms applied to a BiT model trained on ImageNet-1K. The OOD datasets are Texture ( $x$ -axis) and iNatur