[논문 리뷰] Zero-Shot Open Set Detection by Extending CLIP

Sepideh Esmaeilpour, Bing Liu외 2명|arXiv (Cornell University)|2021. 09. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 추론 중에 알려진 클래스 이름이 아닌 후보 미지 클래스 이름을 생성하기 위해 텍스트 기반 이미지 기술 생성기로 CLIP를 확장한 ZO-CLIP를 제안한다. 알려진 클래스와 생성된 미지 클래스 이름의 신뢰도 점수를 조합함으로써 ZO-CLIP는 알려진 클래스에 대한 어떤 훈련도 필요로 하지 않으며, 다섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In a regular open set detection problem, samples of known classes (also called closed set classes) are used to train a special classifier. In testing, the classifier can (1) classify the test samples of known classes to their respective classes and (2) also detect samples that do not belong to any of the known classes (we say they belong to some unknown or open set classes). This paper studies the problem of zero-shot open-set detection, which still performs the same two tasks in testing but has no training except using the given known class names. This paper proposes a novel and yet simple method (called ZO-CLIP) to solve the problem. ZO-CLIP builds on top of the recent advances in zero-shot classification through multi-modal representation learning. It first extends the pre-trained multi-modal model CLIP by training a text-based image description generator on top of CLIP. In testing, it uses the extended model to generate some candidate unknown class names for each test sample and computes a confidence score based on both the known class names and candidate unknown class names for zero-shot open set detection. Experimental results on 5 benchmark datasets for open set detection confirm that ZO-CLIP outperforms the baselines by a large margin.

연구 동기 및 목표

• 알려진 클래스에 대한 훈련 데이터가 전혀 제공되지 않는 제로샷 오픈 세트 검출 문제를 해결하기 위해.
• 훈련 중에 이러한 클래스에 노출되지 않은 채 추론 중에 미지 클래스를 탐지할 수 있도록 모델을 가능하게 하기 위해.
• 테스트 샘플에 대해 타당한 미지 클래스 이름을 생성함으로써 제로샷 오픈 세트 검출 성능을 향상시키기 위해.
• 실제로 알려진 클래스 이름 외에 생성된 가짜 클래스 이름을 통한 합성 클래스 이름 생성을 통해 CLIP의 능력을 제로샷 분류를 넘어서는 오픈세트 추론으로 확장하기 위해.

제안 방법

• 사전 훈련된 CLIP 모델 위에 텍스트 기반 이미지 기술 생성기를 미세조정하여 각 테스트 이미지에 대해 후보로 될 수 있는 미지 클래스 이름을 생성한다.
• 확장된 CLIP 모델을 사용해 알려진 클래스 이름과 생성된 후보 미지 클래스 이름을 모두 공유 임베딩 공간으로 인코딩한다.
• 각 알려진 클래스에 대해 신뢰도 점수를 계산하고, 후보로 될 수 있는 미지 클래스 이름들 간의 점수를 집계하여 개방성 여부를 평가한다.
• 모든 알려진 클래스와 후보로 될 수 있는 미지 클래스 이름의 최대 신뢰도 점수에 임계값을 적용하여 오픈세트 샘플을 탐지한다.
• CLIP의 다중모달 정렬 기능을 활용하여 생성된 클래스 이름이 입력 이미지와 의미적으로 관련성이 있도록 보장한다.
• 생성된 텍스트가 시각적 특징과 일치하도록 대조 학습 목표를 사용하여 이미지 기술 생성기를 훈련한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 다중모달 모델인 CLIP가 알려진 클래스에 대한 어떤 훈련도 없이 제로샷 오픈 세트 검출을 수행할 수 있는가?
• RQ2 텍스트 기반 이미지 기술 생성기를 통해 후보로 될 수 있는 미지 클래스 이름을 생성하는 것이 오픈 세트 검출 성능 향상에 얼마나 효과적인가?
• RQ3 알려진 클래스 점수와 생성된 미지 클래스 점수의 조합이 분포 외 샘플 탐지에 어떻게 기여하는가?
• RQ4 다양한 데이터셋에서 기존 기준들과 비교해 볼 때 제안된 방법의 오픈 세트 검출 성능은 어떠한가?

주요 결과

• ZO-CLIP는 알려진 기준들보다 다섯 개의 벤치마크 데이터셋에서 크게 앞서는 성능을 보였다.
• 생성된 미지 클래스 이름의 통합은 모델이 분포 외 샘플을 탐지하는 능력을 크게 향상시켰다.
• 이 방법은 알려진 클래스에 대한 어떤 훈련 데이터도 필요로 하지 않으면서 최신 기술 수준의 성능을 달성했다.
• 미세조정된 텍스트 기반 이미지 기술 생성기를 사용함으로써 후보로 될 수 있는 미지 클래스 이름의 다양성과 관련성이 향상되었다.
• 신뢰도 점수 기반 메커니즘이 훈련 데이터 없이도 알려진 클래스와 미지 클래스를 효과적으로 구분하는 데 성공했다.
• 이 방법은 다양한 데이터 분포와 오픈 세트 검출 시나리오에 대해 잘 일반화되었다.