[논문 리뷰] Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning

Shuo Yang, Zirui Shang외 5명|ArXiv.org|2024. 03. 02.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 훈련 데이터 없이 다중 레이블 이미지 인식을 수행하는 데이터 프리 프레임워크를 제안한다. 이 프레임워크는 사전 훈련된 LLM(예: ChatGLM)을 활용해 객체 속성과 관계에 대한 풍부한 텍스트 기반 설명을 생성하고, 이를 바탕으로 CLIP를 훈련 데이터 없이 프롬프트 토닝을 위해 계층적 프롬프트를 학습한다. 제안된 방법은 MS-COCO에서 제로샷 기준으로 4.7% mAP 향상을 달성하여 상태의 최고 성능(SOTA)을 기록하며, 데이터 부족 상황에서 LLM 기반 프롬프트 토닝의 효과성을 입증한다.

ABSTRACT

This paper proposes a novel framework for multi-label image recognition without any training data, called data-free framework, which uses knowledge of pre-trained Large Language Model (LLM) to learn prompts to adapt pretrained Vision-Language Model (VLM) like CLIP to multilabel classification. Through asking LLM by well-designed questions, we acquire comprehensive knowledge about characteristics and contexts of objects, which provides valuable text descriptions for learning prompts. Then we propose a hierarchical prompt learning method by taking the multi-label dependency into consideration, wherein a subset of category-specific prompt tokens are shared when the corresponding objects exhibit similar attributes or are more likely to co-occur. Benefiting from the remarkable alignment between visual and linguistic semantics of CLIP, the hierarchical prompts learned from text descriptions are applied to perform classification of images during inference. Our framework presents a new way to explore the synergies between multiple pre-trained models for novel category recognition. Extensive experiments on three public datasets (MS-COCO, VOC2007, and NUS-WIDE) demonstrate that our method achieves better results than the state-of-the-art methods, especially outperforming the zero-shot multi-label recognition methods by 4.7% in mAP on MS-COCO.

연구 동기 및 목표

• 훈련 데이터가 전혀 없을 때도 새로운 객체 카테고리를 인식할 수 있는 다중 레이블 이미지 인식의 과제를 해결하기 위해.
• 사전 훈련된 시각-언어 모델(CLIP)과 대규모 언어 모델(LLM) 간의 상호보완적 상호작용을 탐색하여 제로샷 적응을 가능하게 하기 위해.
• 객체 간 관계와 공통 속성을 프롬프트 학습에 통합함으로써 다중 레이블 인식 성능을 향상시키기 위해.
• 정답 이미지가 필요 없이 LLM가 생성한 지식을 활용하는 프롬프트 토닝 전략을 개발하기 위해.

제안 방법

• LLM에 다양한 질문 유형(예: 카테고리 독립형, 카테고리 특정형, 관계 기반형)을 제시하여 객체의 포괄적인 속성 및 맥락 지식을 추출하기 위해.
• LLM를 서브스티튜션 훈련 데이터로 활용해 객체 속성(예: 모양, 색상, 재질)과 객체 간 관계(예: 장면 내 공존 관계)에 대한 풍부한 텍스트 기반 설명을 생성하기 위해.
• 세 가지 토큰 유형(전역 공유 토큰, 공존/유사 카테고리에 대해 부분적으로 공유되는 토큰, 카테고리 특정 토큰)을 포함하는 계층적 프롬프트 학습 방법을 제안하기 위해.
• LLM가 생성한 텍스트 기반 설명을 감독 신호로 사용하여 계층적 프롬프트를 훈련시키며, 추론 시 CLIP의 시각-언어적 정렬 기능을 활용하기 위해.
• 전역 및 국소 프롬프트 브랜치를 학습 가능한 가중치로 통합하여 공유 지식과 특정 지식 간의 균형을 최적화하기 위해.
• 실제 이미지 데이터에 대한 미세조정 없이 추론 시점에 학습된 프롬프트를 적용하여 이미지 분류를 수행하기 위해.

실험 결과

연구 질문

• RQ1 LLM가 생성한 텍스트 기반 지식이 다중 레이블 이미지 인식에서 실제 훈련 데이터를 대체할 수 있는가?
• RQ2 객체 간 관계와 공통 속성을 효과적으로 학습 가능한 프롬프트에 통합하여 다중 레이블 분류 성능을 향상시킬 수 있는가?
• RQ3 다중 레이블 간 의존성을 효과적으로 포착하기 위해 최적의 계층적 프롬프트 토큰 구조(전역, 부분적으로 공유, 카테고리 특정)는 무엇인가?
• RQ4 사람이 작성한 캡션이나 실제 훈련 데이터를 사용하는 방법과 비교해 LLM 기반 프롬프트 토닝의 성능은 어떻게 되는가?

주요 결과

• 제안된 방법은 MS-COCO에서 66.8 mAP를 기록하여 이전의 SOTA 제로샷 방법보다 4.7% mAP 향상을 달성하여 강력한 데이터 프리 성능을 입증한다.
• VOC2007, MS-COCO, NUS-WIDE에서 모든 비지도 및 레이블 없는 훈련 기반 방법을 압도하며, LLM가 생성한 지식의 가치를 확인한다.
• 프롬프트 토큰 수의 변동에 대해 성능이 뛰어난 안정성을 보이며, 최적의 성능은 총 32개 토큰에서 달성되며, 이를 초과하면 성능 저하가 발생한다.
• 전역 프롬프트 브랜치와 국소 프롬프트 브랜치 간 최적의 균형은 전역 프롬프트 가중치 0.65에서 달성되며, 이는 전역 지식의 주도적 역할과 상호보완적 기여를 시사한다.
• 정성적 분석 결과, 계층적 프롬프트가 작은 객체나 모호한 객체에 대해 예측 성능을 향상시키지만, 인간의 사전 지식을 반영한 수작업 프롬프트가 특정 케이스에서는 여전히 슈퍼어리어어를 기록한다.
• 완전히 지도 학습된 방법보다 다소 성능이 열등한 편이지만, 이는 CLIP의 사전 훈련 데이터와 최종 작업 간 도메인 갭으로 인한 것으로 보인다.