[논문 리뷰] Open-Set Recognition: a Good Closed-Set Classifier is All You Need?

Sagar Vaze, Kai Han외 2명|arXiv (Cornell University)|2021. 10. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 40

한 줄 요약

본 논문은 폐쇄 집합 정확도와 오픈 세트 인식(OSR) 성능 간의 강한 실증적 연결고리를 보여주고, 표준 이미지 분류 기법으로 폐쇄 집합 정확도를 개선하면 대규모 ImageNet 분할을 포함한 OSR에서 최첨단 결과를 달성한다는 것을 입증한다. 또한 OSR의 의미적 참신성을 더 잘 평가하기 위해 의미 시프트 벤치마크(SSB)를 도입한다.

ABSTRACT

The ability to identify whether or not a test sample belongs to one of the semantic classes in a classifier's training set is critical to practical deployment of the model. This task is termed open-set recognition (OSR) and has received significant attention in recent years. In this paper, we first demonstrate that the ability of a classifier to make the 'none-of-above' decision is highly correlated with its accuracy on the closed-set classes. We find that this relationship holds across loss objectives and architectures, and further demonstrate the trend both on the standard OSR benchmarks as well as on a large-scale ImageNet evaluation. Second, we use this correlation to boost the performance of a maximum logit score OSR 'baseline' by improving its closed-set accuracy, and with this strong baseline achieve state-of-the-art on a number of OSR benchmarks. Similarly, we boost the performance of the existing state-of-the-art method by improving its closed-set accuracy, but the resulting discrepancy with the strong baseline is marginal. Our third contribution is to present the 'Semantic Shift Benchmark' (SSB), which better respects the task of detecting semantic novelty, in contrast to other forms of distribution shift also considered in related sub-fields, such as out-of-distribution detection. On this new evaluation, we again demonstrate that there is negligible difference between the strong baseline and the existing state-of-the-art. Project Page: https://www.robots.ox.ac.uk/~vgg/research/osr/

연구 동기 및 목표

• 폐쇄 집합 성능이 데이터셋과 아키텍처 전반에 걸쳐 오픈 세트 탐지와 강한 상관관계가 있음을 입증한다.
• MSP 베이스라인의 폐쇄 집합 정확도 향상이 최첨단 OSR 결과를 얻는다는 것을 보여준다.
• 전통적 개방성 지표를 넘어서는 의미 의식 평가 체계(Semantic Shift Benchmark)로 OSR를 위한 통일되고 의미 인식된 평가 체계를 제안한다.

제안 방법

• 다수의 데이터셋에 걸친 표준 OSR 벤치마크에서 MSP baseline, ARPL, ARPL+CS를 비교한다.
• 데이터셋과 아키텍처에 걸쳐 폐쇄 집합 정확도와 오픈 세트 AUROC 간의 상관관계를 정량화한다.
• 더 긴 학습, 증강 데이터, 라벨 스무딩을 사용하여 폐쇄 집합 정확도를 높이는 MSP+를 포함한 MSP 베이스라인을 향상시킨다.
• softmax 확률 대신 최대 로짓 점수(MLS)를 오픈 세트 지표로 제안한다.
• 쉬운/어려운 의미적 오픈 세트 세트가 있는 대규모 ImageNet 분할에서 MLS 및 강화된 베이스라인을 평가한다.
• ImageNet 규모 및 미세한 FGVC 데이터셋으로 구성된 Semantic Shift Benchmark(SSB)를 도입하고 의미적 참신성을 평가하기 위해 평가한다.

실험 결과

연구 질문

• RQ1 폐쇄 집합 정확도는 데이터셋과 모델 계열에서 오픈 세트 탐지 성능과 상관관계가 있는가?
• RQ2 OSR 방법의 베이스라인에서 폐쇄 집합 정확도를 향상시키면 최첨단 방법과 비교해 경쟁력 있거나 우수한 OSR 성능을 얻을 수 있는가?
• RQ3 최대 로짓에 기반한 오픈 세트 채점 규칙(MLS)이 OSR에서 최대 소프트맥스 확률(MSP)과 어떻게 비교되는가?
• RQ4 의미 인식 오픈 세트 분할이 개방성만으로의 평가에 비해 OSR 평가에 미치는 영향은 어떠한가?
• RQ5 제안된 Semantic Shift Benchmark가 대규모에서 의미 중심의 OSR 평가 프레임워크로서 의미가 있는가?

주요 결과

방법	MNIST	SVHN	CIFAR10	CIFAR+10	CIFAR+50	TinyImageNet
베이스라인 (MSP)	97.8	88.6	67.7	81.6	80.5	57.7
OSRCI	98.8	91.0	69.9	83.8	82.7	58.6
OpenHybrid	99.5	94.7	95.0	96.2	95.5	79.3
ARPL + CS	99.7	96.7	91.0	97.1	95.1	78.2
OSRCI+	98.5 (-0.3)	89.9 (-1.1)	87.2 (+7.3)	91.1 (+7.3)	90.3 (+7.6)	62.6 (+4.0)
(ARPL + CS)+	99.2 (-0.5)	96.8 (+0.1)	93.9 (+2.9)	98.1 (+1.0)	96.7 (+1.6)	82.5 (+4.3)
베이스라인 (MSP+)	98.6 (+0.8)	96.0 (+7.4)	90.1 (+22.4)	95.6 (+14.0)	94.0 (+13.5)	82.7 (+25.0)
베이스라인 (MLS)	99.3 (+1.5)	97.1 (+8.5)	93.6 (+25.9)	97.9 (+16.3)	96.5 (+16.0)	83.0 (+25.3)

• 폐쇄 집합 정확도와 오픈 세트 AUROC 간에는 벤치마크 전반에 걸쳐 강한 양의 상관관계가 있다(Pearson ρ 약 0.95; 표준 벤치마크에서), 그리고 ImageNet Easy/Hard 분할에서 각각 약 0.88/0.63이다.
• 표준 이미지 분류 개선으로 MSP 베이스라인을 강화하면 대부분의 벤치마크에서 최첨단 또는 경쟁력 있는 OSR 결과를 얻는다(예: MSP+와 MLS가 여러 베이스라인을 능가).
• 오픈 세트 지표로서의 MLS는 MSP 베이스라인보다 상당한 이점을 제공하며 MLS가 데이터셋 전반에서 더 우수한 평균 AUROC를 달성한다.
• Semantic Shift Benchmark에서 MLS와 ARPL+가 비슷한 성능을 보이며, 의미 인식 분할이 OSR 평가에 중요함을 강조한다.
• 제안된 Semantic Shift Benchmark는 의미적으로 더 어려운 분할이 단순한 개방성 지표보다 OSR 성능을 더 저하시킨다는 것을 보여준다.