[논문 리뷰] Vocabulary-free Image Classification

Alessandro Conti, Enrico Fini외 4명|arXiv (Cornell University)|2023. 06. 01.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 사전에 정의된 어휘에 의존하지 않고 무제한의 의미 공간으로 이미지를 분류하는 새로운 과제인 어휘 없는 이미지 분류(Vocabulary-free Image Classification, VIC)를 소개한다. 저자들은 CaSED를 제안하며, 외부 시각-언어 데이터베이스에서 의미적으로 유사한 캡션을 검색하고 CLIP를 사용해 이미지를 가장 적합한 후보 카테고리와 매칭함으로써, 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성하는 훈련이 없는 방법을 개발한다.

ABSTRACT

Recent advances in large vision-language models have revolutionized the image classification paradigm. Despite showing impressive zero-shot capabilities, a pre-defined set of categories, a.k.a. the vocabulary, is assumed at test time for composing the textual prompts. However, such assumption can be impractical when the semantic context is unknown and evolving. We thus formalize a novel task, termed as Vocabulary-free Image Classification (VIC), where we aim to assign to an input image a class that resides in an unconstrained language-induced semantic space, without the prerequisite of a known vocabulary. VIC is a challenging task as the semantic space is extremely large, containing millions of concepts, with hard-to-discriminate fine-grained categories. In this work, we first empirically verify that representing this semantic space by means of an external vision-language database is the most effective way to obtain semantically relevant content for classifying the image. We then propose Category Search from External Databases (CaSED), a method that exploits a pre-trained vision-language model and an external vision-language database to address VIC in a training-free manner. CaSED first extracts a set of candidate categories from captions retrieved from the database based on their semantic similarity to the image, and then assigns to the image the best matching candidate category according to the same vision-language model. Experiments on benchmark datasets validate that CaSED outperforms other complex vision-language frameworks, while being efficient with much fewer parameters, paving the way for future research in this direction.

연구 동기 및 목표

• 사전에 정의된 정적 어휘가 필요 없는 새로운 이미지 분류 과제인 어휘 없는 이미지 분류(Vocabulary-free Image Classification, VIC)를 체계화하는 것.
• 수백만 개의 미세한 구분과 변화하는 개념을 포함하는 거대하고 제약 없는 의미 공간에 이미지를 분류하는 과제에 도전하는 것.
• 모든 미세조정이나 추가 훈련 없이 작동하는 방법을 개발하여 계산 효율성과 유연성을 확보하는 것.
• 고정된 어휘가 없는 상황에서 예측된 의미 클래스와 진정된 의미 클래스 간의 정렬을 정확하게 측정할 수 있는 평가 지표를 제안하는 것.
• 외부 시각-언어 데이터베이스가 제약 없는 설정에서 제로샷 분류에 비해 더 강력한 의미 사전 지식을 제공하는지 입증하는 것.

제안 방법

• CaSED는 CLIP의 시각 인코더를 사용해 입력 이미지와 의미적으로 유사한 캡션을 외부 시각-언어 데이터베이스에서 검색한다.
• 후보 카테고리는 텍스트 파싱 및 노이즈와 관련 없는 용어를 제거하기 위한 필터링을 통해 검색된 캡션에서 추출된다.
• 최종 클래스 예측은 CLIP의 통합 시각-텍스트 임베딩 공간을 사용해 입력 이미지와 각 후보 카테고리 간의 다중모odal 유사도 점수를 계산함으로써 이루어진다.
• 이 방법은 훈련이 없는 방식으로, 사전 훈련된 CLIP와 외부 데이터베이스에만 의존하며, 파rameter 업데이트나 미세조정이 전혀 필요 없다.
• 현대의 시각-언어 데이터베이스(예: PMD, CC12M)의 광범위한 커버리지 활용을 통해 다양한 의미 개념, 특히 미세한 분류를 탐색한다.
• 성능은 검색된 캡션의 수를 조절함으로써 최적화되며, 10~20개를 초과하면 낮은 관련성의 결과로 인한 노이즈로 인해 유사도가 감소함에 따라 포화 상태에 도달한다.

실험 결과

연구 질문

• RQ1 외부 시각-언어 데이터베이스는 제约束 없는 의미 공간에서 제로샷 이미지 분류에 효과적인 의미 사전 지식으로 기능할 수 있는가?
• RQ2 시각-언어 데이터베이스의 크기와 품질이 어휘 없는 이미지 분류 성능에 어떤 영향을 미치는가?
• RQ3 훈련이 없는 방법이 사전 정의된 어휘가 없는 상황에서 복잡한 미세조정된 시각-언어 모델보다 제로샷 분류에서 승리할 수 있는가?
• RQ4 후보 생성 단계에서 의미 커버리지와 노이즈를 균형 잡기 위해 최적의 검색 캡션 수는 얼마인가?
• RQ5 고정된 어휘가 없을 경우, 예측된 레이블과 진정된 레이블 간의 의미 정렬을 어떻게 평가할 수 있는가?

주요 결과

• CaSED는 BLIP-2와 같은 복잡하고 미세조정된 시각-언어 모델을 모든 벤치마크 데이터셋에서 능가하며, 굵은 분류(Caltech-101, UCF101)와 미세한 분류(FGVC-Aircraft, Flowers-102) 과제 모두에서 성능을 발휘한다.
• 더 크고 품질이 높은 시각-언어 데이터베이스일수록 성능이 향상되며, CC12M와 Redcaps는 전체 YFCC100M 서브셋과 비교해 유사하거나 더 우수한 결과를 내놓는다.
• YFCC100M 서브셋을 사용할 경우 CC3M 대비 군집 정확도에서 +8.9% 향상되며, 데이터베이스 품질의 영향을 입증한다.
• 10~20개의 캡션을 검색한 이후 성능이 포화 상태에 도달하며, K=20일 때 의미 유사도가 약간 감소함에 따라 수익 감소와 관련 없는 캡션으로 인한 노이즈가 발생함을 시사한다.
• CaSED는 추가 훈련이나 파rameter 업데이트 없이 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성하여 매우 효율적이고 확장 가능한 방법임을 입증한다.
• 외부 데이터베이스의 광범위한 커버리지 활용 덕분에 다양한 의미 공간, 특히 미세한 분류 카테고리에서도 강건함을 보이며, 이는 외부 데이터베이스의 넓은 커버리지 활용 덕분이다.