[논문 리뷰] iCAR: Bridging Image Classification and Image-text Alignment for Visual Recognition

Yixuan Wei, Yue Cao외 5명|arXiv (Cornell University)|2022. 04. 22.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 이미지 분류와 이미지-텍스트 정렬을 통합하는 딥 퓌전 프레임워크인 iCAR를 제안한다. 선형 분류기 대신 코사인 분류기를 사용하고, 공유된 텍스트 인코더를 메타넷으로 활용해 분류기 가중치를 생성하며, 클래스 이름을 기술적 문장으로 풍부화한다. 이 방법은 이미지 분류, 동작 인식, 객체 검출, 의미 세그먼테이션 등 다양한 작업에서 zero-shot, few-shot, 파인튜닝 설정에서 최신 기술을 초월하는 성능을 달성한다. 개별 작업 학습 및 얕은 다중작업 기반 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Image classification, which classifies images by pre-defined categories, has been the dominant approach to visual representation learning over the last decade. Visual learning through image-text alignment, however, has emerged to show promising performance, especially for zero-shot recognition. We believe that these two learning tasks are complementary, and suggest combining them for better visual learning. We propose a deep fusion method with three adaptations that effectively bridge two learning tasks, rather than shallow fusion through naive multi-task learning. First, we modify the previous common practice in image classification, a linear classifier, with a cosine classifier which shows comparable performance. Second, we convert the image classification problem from learning parametric category classifier weights to learning a text encoder as a meta network to generate category classifier weights. The learnt text encoder is shared between image classification and image-text alignment. Third, we enrich each class name with a description to avoid confusion between classes and make the classification method closer to the image-text alignment. We prove that this deep fusion approach performs better on a variety of visual recognition tasks and setups than the individual learning or shallow fusion approach, from zero-shot/few-shot image classification, such as the Kornblith 12-dataset benchmark, to downstream tasks of action recognition, semantic segmentation, and object detection in fine-tuning and open-vocabulary settings. The code will be available at https://github.com/weiyx16/iCAR.

연구 동기 및 목표

• 이미지 분류와 이미지-텍스트 정렬의 고립된 접근 방식의 한계를 해결하기 위해, 시각적 표현 학습에서 두 작업의 강점을 통합하고자 한다.
• 이미지 분류의 단점(예: 범주 커버리지 제한, 모호한 클래스 이름)을 이미지-텍스트 정렬의 풍부한 의미 정보를 통해 보완하고자 한다.
• 대비 학습의 오픈 뷰포인트 기능을 활용해 이미지 분류를 정렬과 통합함으로써 zero-shot 및 few-shot 일반화 성능을 향상시키고자 한다.
• 특히 오픈 뷰포인트 인식에 적합한 시각적 및 텍스트 인코더를 공동 최적화함으로써, 다운스트림 작업에 대한 효과적인 파인튜닝을 가능하게 하고자 한다.
• 딥 퓌전이 얕은 다중작업 학습보다 다양한 비전 벤치마크에서 뛰어난 성능을 내는 것을 입증하고자 한다.

제안 방법

• 이미지 분류에서 표준 선형 분류기를 코사인 분류기로 대체함으로써, 선형 성능을 유지하거나 초월하면서도 이미지-텍스트 정렬과 동일한 메트릭 공간을 공유할 수 있도록 한다.
• 이미지 분류를 텍스트 인코더가 분류기 가중치를 생성하는 메타넷 역할을 하는 작업으로 재정의함으로써, 공유된 표현 공간을 가능하게 한다.
• 각 클래스 이름을 기술적 문장(예: '밤새우의 사진, 야행성 새: 고라니, 야행새, 야행새')으로 풍부화하여 의미 명확성을 향상시키고, 입력의 세분화 수준을 이미지-텍스트 쌍과 일치시킨다.
• 이미지 분류와 이미지-텍스트 대비 학습 모두에 공유된 시각적 및 텍스트 인코더를 사용하며, 두 작업 모두에서 코사인 유사도를 메트릭으로 사용한다.
• 다운스트림 작업에서 시각적 및 텍스트 인코더를 공동으로 파인튜닝함으로써, 오픈 뷰포인트 및 세분화된 분류에 대한 더 나은 적응을 가능하게 한다.
• LVIS, COCO 및 기타 검출 벤치마크에서의 파인튜닝을 위해 다중 스케일 학습 스케줄과 코사인 학습률 감소 전략을 적용한다.

실험 결과

연구 질문

• RQ1 딥 퓌전된 이미지 분류와 이미지-텍스트 정렬이 개별 학습 또는 얕은 다중작업 학습보다 비전 인식에서 더 나은 성능을 낼 수 있는가?
• RQ2 선형 분류기를 코사인 분류기로 대체하고 공유된 텍스트 인코더를 메타넷으로 사용함으로써 zero-shot 및 few-shot 일반화 성능이 향상되는가?
• RQ3 클래스 이름을 기술적 프롬프트로 풍부화함으로써 모호성이 감소하고 이미지-텍스트 학습과의 정렬이 얼마나 향상되는가?
• RQ4 다운스트림 작업(예: 객체 검출, 동작 인식)에서 시각적 및 텍스트 인코더를 공동으로 파인튜닝하는 것이 오픈 뷰포인트 환경에서 얼마나 효과적인가?
• RQ5 추가 애너테이션 없이도, 통합 프레임워크가 완전히 감독된 파인튜닝 성능과 유사한 성능을 달성할 수 있는가?

주요 결과

• Kornblith 12개 데이터셋 벤치마크에서 iCAR는 최신 기술을 초월하는 zero-shot 및 few-shot 정확도를 달성했으며, CLIP 및 VL-Laion을 모두 앞서간다.
• Kinetics-400에서 iCAR는 시각적 및 텍스트 인코더를 공동으로 파인튜닝한 결과 83.2%의 top-1 정확도를 기록했으며, 시각적 인코더만 업데이트하는 표준 파인튜닝(83.1%)과 유사한 성능을 보였다.
• Kinetics-600에서 iCAR는 K400에서 파인튜닝한 후 59.5%의 top-1 정확도를 기록했으며, zero-shot 기반보다 +15.8% 향상되어 강력한 오픈 뷰포인트 일반화 능력을 입증했다.
• COCO에서 iCAR는 어떤 애너테이션 없이도 오픈 뷰포인트 객체 검출에서 41.2 mAP를 기록했으며, ImageNet-22K 사전학습을 사용한 완전한 감독 파인튜닝보다 7.4점 낮게 기록했다.
• LVIS에서 iCAR는 38.5 mAP를 기록해 기준 모델보다 +0.6 mAP 향상되었으며, 장기 꼬리 분포 및 세분화된 인식 환경에서도 성능 향상을 보였다.
• UCF101 및 HMDB51에서 iCAR는 각각 +11.6% 및 +4.2%의 zero-shot 성능 향상을 기록했으며, 동작 인식 벤치마크 간 강력한 전이 능력을 확인했다.