[논문 리뷰] Delving into Multimodal Prompting for Fine-grained Visual Classification

Jiang Xin, Hao Tang외 4명|arXiv (Cornell University)|2023. 09. 16.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 CLIP 모델을 활용하여 하위군별 시각적 특징과 이질성 인식 텍스트 프롬프트를 통합함으로써 미세 분류 성능을 향상시키는 새로운 다중모달 프롬프팅 프레임워크 MP-FGVC를 제안한다. 최소한의 적응으로 네 가지 FGVC 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Fine-grained visual classification (FGVC) involves categorizing fine subdivisions within a broader category, which poses challenges due to subtle inter-class discrepancies and large intra-class variations. However, prevailing approaches primarily focus on uni-modal visual concepts. Recent advancements in pre-trained vision-language models have demonstrated remarkable performance in various high-level vision tasks, yet the applicability of such models to FGVC tasks remains uncertain. In this paper, we aim to fully exploit the capabilities of cross-modal description to tackle FGVC tasks and propose a novel multimodal prompting solution, denoted as MP-FGVC, based on the contrastive language-image pertaining (CLIP) model. Our MP-FGVC comprises a multimodal prompts scheme and a multimodal adaptation scheme. The former includes Subcategory-specific Vision Prompt (SsVP) and Discrepancy-aware Text Prompt (DaTP), which explicitly highlights the subcategory-specific discrepancies from the perspectives of both vision and language. The latter aligns the vision and text prompting elements in a common semantic space, facilitating cross-modal collaborative reasoning through a Vision-Language Fusion Module (VLFM) for further improvement on FGVC. Moreover, we tailor a two-stage optimization strategy for MP-FGVC to fully leverage the pre-trained CLIP model and expedite efficient adaptation for FGVC. Extensive experiments conducted on four FGVC datasets demonstrate the effectiveness of our MP-FGVC.

연구 동기 및 목표

• 미세 분류 성능을 향상시키기 위해 하위군별 특징과 이질성 인식 텍스트 프롬프트를 활용하여 CLIP 모델을 다중모달 프롬프팅 프레임워크 MP-FGVC로 개선한다.
• 하위군별 세부 정보보다는 고수준 카테고리 의미에 집중하는 기존의 사전 훈련된 시각-언어 모델인 CLIP의 잠재력을 탐색한다.
• 시각 및 언어 모달리티를 동시에 활용하여 하위군별 이질성을 명시적으로 강조하는 다중모달 프롬프팅 솔루션을 개발한다.
• 비전-언어 융합 모듈(VLFM)을 통해 통합된 의미 공간에서 비전 및 언어 프롬프트 간의 효과적인 교차 모달 협업을 가능하게 한다.
• CLIP의 사전 훈련된 능력을 유지하면서 FGVC에 적합하도록 최적화된 두 단계 훈련 전략을 사용하여 적응 과정을 최적화한다.

제안 방법

• 하위군별 시각적 특징을 강조하기 위해 중요도 순위 기반 메커니즘을 사용해 가장 눈에 띄는 이미지 패치(k=14)를 선택하는 하위군별 시각 프롬프트(SsVP)를 도입한다.
• 초군명에서 유도된 학습 가능한 텍스트 템플릿(J=16 토큰)을 사용해 하위군별 기술을 생성하는 이질성 인식 텍스트 프롬프트(DaTP)를 제안한다.
• 비전 및 텍스트 프롬프트를 공통된 의미 공간에서 정렬하고 융합하기 위해 교차 모달 추론을 위한 비전-언어 융합 모듈(VLFM)을 설계한다.
• 두 단계 훈련 전략을 구현한다: 첫 번째 단계에서는 CLIP의 이미지 및 텍스트 인코더를 고정하고 SsVP 및 DaTP만 훈련한다. 두 번째 단계에서는 전체 모델을 엔드 투 엔드로 미세 조정한다.
• 대비 학습 목표를 사용하여 이미지 및 텍스트 표현을 정렬함으로써, 하위군별로 구분 가능한 특징을 학습할 수 있도록 보장한다.
• GradCAM 시각화를 적용하여 주의 맵을 분석하고, MP-FGVC가 머리, 날개, 꼬리 색소와 같은 하위군별 구분 특징 영역에 집중을 향상시킨다는 것을 검증한다.

실험 결과

연구 질문

• RQ1 하위군별 시각적 및 언어적 신호를 활용함으로써, CLIP와 같은 사전 훈련된 시각-언어 모델이 미세 분류 성능 향상에 효과적으로 적응할 수 있는가?
• RQ2 비전 및 언어 프롬프트를 어떻게 공동으로 설계하여 미세 분류 카테고리 간의 미세한 상호 클래스 차이를 강조할 수 있는가?
• RQ3 성능을 극대화하면서 과적합이나 노이즈를 유발하지 않도록 하기 위해 프롬프트 내 최적의 비전 및 텍스트 토큰 수는 얼마인가?
• RQ4 두 단계 훈련 전략이 CLIP의 사전 훈련된 지식을 유지하면서도 FGVC에 효과적으로 미세 조정할 수 있도록 하는 데서 엔드 투 엔드 훈련보다 우수한가?
• RQ5 제안된 다중모달 프롬프팅 프레임워크는 최소한의 아키텍처 수정으로 다양한 FGVC 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• MP-FGVC는 CUB-200-2011, NABirds, Stanford Cars, FG-Wild 등 네 가지 표준 FGVC 벤치마크에서 최신 기준 성능을 달성하며, 기준 방법 대비 일관된 성능 향상을 보였다.
• 제거 실험 결과, SsVP와 DaTP 모두 필수적임을 확인했다. 둘 중 하나를 제거하면 성능이 크게 하락하여 상호 보완적 역할을 한다는 점을 검증했다.
• 최적의 초깃값은 비전 토큰 수 k=14, 텍스트 토큰 수 J=16이다. 이 값이 각각 14와 32를 초과하면 성능이 저하되어 표현력과 노이즈 사이의 상충 관계가 드러났다.
• 두 단계 훈련 전략은 한 단계 훈련보다 뚜렷이 우수하다. 초기 단계에서 텍스트 프롬프트를 무작위로 초기화하면 최적화가 방해되고 수렴이 최적의 상태에 도달하지 못한다.
• 시각화 결과, MP-FGVC가 머리, 뒷부분, 복부, 날개와 같은 하위군별 특징을 강조하는 데 성공했으며, 이는 향상된 특징 국소화를 확인한다.
• 프롬프트 템플릿의 변형에 대해 강건하며, "a photo of a" 접두어나 하위군명 접미어를 사용할 때 성능 저하가 최소한이어서 일반화 능력이 뛰어나다는 것을 보여준다.