[논문 리뷰] The Devil is in the Wrongly-classified Samples: Towards Unified Open-set Recognition

Jun Cen, Di Luan외 6명|arXiv (Cornell University)|2023. 02. 08.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 Unified Open-set Recognition(UOSR)을 분석하고, 잘못 분류된 in-distribution 샘플의 존재로 인해 기존 OSR 방법들이 UOSR에서 훨씬 더 잘 작동한다는 점을 보여주며, 상태-of-the-art의 UOSR 성능을 달성하기 위한 학습 설정과 FS-KNNS를 이용한 few-shot 프레임워크를 제안한다.

ABSTRACT

Open-set Recognition (OSR) aims to identify test samples whose classes are not seen during the training process. Recently, Unified Open-set Recognition (UOSR) has been proposed to reject not only unknown samples but also known but wrongly classified samples, which tends to be more practical in real-world applications. The UOSR draws little attention since it is proposed, but we find sometimes it is even more practical than OSR in the real world applications, as evaluation results of known but wrongly classified samples are also wrong like unknown samples. In this paper, we deeply analyze the UOSR task under different training and evaluation settings to shed light on this promising research direction. For this purpose, we first evaluate the UOSR performance of several OSR methods and show a significant finding that the UOSR performance consistently surpasses the OSR performance by a large margin for the same method. We show that the reason lies in the known but wrongly classified samples, as their uncertainty distribution is extremely close to unknown samples rather than known and correctly classified samples. Second, we analyze how the two training settings of OSR (i.e., pre-training and outlier exposure) influence the UOSR. We find although they are both beneficial for distinguishing known and correctly classified samples from unknown samples, pre-training is also helpful for identifying known but wrongly classified samples while outlier exposure is not. In addition to different training settings, we also formulate a new evaluation setting for UOSR which is called few-shot UOSR, where only one or five samples per unknown class are available during evaluation to help identify unknown samples. We propose FS-KNNS for the few-shot UOSR to achieve state-of-the-art performance under all settings.

연구 동기 및 목표

• OSR보다 더 실용적인 개방-집합 설정으로서 UOSR 연구의 필요성을 제시한다.
• 동일한 방법으로도 왜 UOSR이 종종 OSR보다 우수한지(InW 샘플에 초점을 맞추어) 특징화한다.
• 사전 학습과 이상치 노출이 UOSR 성능에 미치는 영향을 평가한다.
• few-shot UOSR 설정을 도입하고, Robust한 탐지를 위해 소수의 OoD 참조를 활용하는 방법을 개발한다.

제안 방법

• 이미지 및 비디오 도메인에서 기존 OSR 방법을 UOSR 태스크에 적용하고 불확실성 분포를 분석한다.
• 학습 설정(사전 학습 및 이상치 노출)이 UOSR에서 InC/InW 및 InC/OoD 구별에 미치는 영향을 분석한다.
• few-shot UOSR 벤치마크를 제안하고 FS-KNNS를 개발한다. 이는 FS-KNN과 SoftMax 불확실성 점수를 융합하여 OoD 참조를 활용하면서도 InC/InW를 유지한다.
• few-shot UOSR 문제를 정식화하고 FS-KNNS 융합 공식을 도출해 InW와 OoD 정보를 균형 있게 반영한다.
• 사전 학습 및 이상치 노출 설정을 포함하는 포괄적인 UOSR 벤치마크를 구성하고 평가한다.

실험 결과

연구 질문

• RQ1 UOSR은 InC, InW, OoD 샘플 간의 불확실성 분포 측면에서 OSR과 어떻게 다른가?
• RQ2 사전 학습과 이상치 노출이 UOSR 성능을 얼마나 향상시키며, 이들이 InC/InW 대 InC/OoD 구별에 어떤 영향을 미치는가?
• RQ3 OoD 참조를 포함한 few-shot 평가 설정을 효과적으로 모델링해 최첨단 UOSR 성능을 달성할 수 있는가?
• RQ4 SoftMax 및 거리 기반 불확실성의 융합(FS-KNN)이 기존 방법보다 UOSR에 더 잘 적응하는가?
• RQ5 도메인(이미지/비디오) 및 아키텍처 간 InW 샘플이 OSR 대비 UOSR 성능에 미치는 상대적 영향은 어느 정도인가?

주요 결과

• UOSR 성능은 동일한 방법에 대해 아키텍처, 데이터셋, 도메인에 걸쳐 OSR 성능을 지속적으로 능가한다.
• InW 샘플의 불확실성 분포가 InC보다는 OoD에 가까워 다수의 OSR 오탐이 InW에서 기인한다는 점을 설명한다.
• 사전 학습은 InC/InW 및 InC/OoD 구별 모두를 개선하고, 이상치 노출은 주로 InC/OoD를 개선하되 일부 설정에서 InC/InW에 한정적이거나 음의 영향을 미칠 수 있다.
• few-shot UOSR은 1개 또는 5개의 OoD 참조 샘플을 도입하고 few-shot OSR과는 다른 도전을 보여, FS-KNNS로 최첨단 UOSR 성능을 가능하게 한다.
• FS-KNNS는 FS-KNN과 SoftMax 점수를 융합하여 OoD 노출 없이도 InC/InW 및 InC/OoD 구별의 균형을 맞추면서 모든 설정에서 우수한 UOSR 성능을 달성한다.
• 학습 중 실제 OoD 데이터를 사용하는 이상치 노출은 일반적으로 생성 데이터보다 더 큰 이점을 제공하고, 사전 학습은 구별 작업 전반에 걸쳐 더 넓은 성능 향상을 제공한다.