[논문 리뷰] LLMs as Visual Explainers: Advancing Image Classification with Evolving Visual Descriptions

Songhao Han, Le Zhuo외 2명|arXiv (Cornell University)|2023. 11. 20.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 이미지 분류 성능 향상을 위해 LLM 에이전트가 VLM 분류 지표에 의해 유도되어 반복적으로 클래스 설명을 개선하는 '시각 피드백를 통한 반복 최적화' 방법을 제안한다. CLIP에서 유도된 시각 피드백과 유전 알고리즘 유사한 진화를 조합함으로써, 이 방법은 SOTA 기법 대비 평균 3.47%의 정확도 향상을 달성하며, 해석 가능하고 강건하며 이식 가능한 텍스트 프롬프트를 생성한다.

ABSTRACT

Vision-language models (VLMs) offer a promising paradigm for image classification by comparing the similarity between images and class embeddings. A critical challenge lies in crafting precise textual representations for class names. While previous studies have leveraged recent advancements in large language models (LLMs) to enhance these descriptors, their outputs often suffer from ambiguity and inaccuracy. We attribute this to two primary factors: 1) the reliance on single-turn textual interactions with LLMs, leading to a mismatch between generated text and visual concepts for VLMs; 2) the oversight of the inter-class relationships, resulting in descriptors that fail to differentiate similar classes effectively. In this paper, we propose a novel framework that integrates LLMs and VLMs to find the optimal class descriptors. Our training-free approach develops an LLM-based agent with an evolutionary optimization strategy to iteratively refine class descriptors. We demonstrate our optimized descriptors are of high quality which effectively improves classification accuracy on a wide range of benchmarks. Additionally, these descriptors offer explainable and robust features, boosting performance across various backbone models and complementing fine-tuning-based methods.

연구 동기 및 목표

• 시각적 기반 없이 생성된 LLM에 의한 정확하지 않은 시각적 설명 문제를 해결하기 위해, LLM이 시각적 기반 없이 작동하는 '보지 않고 설명하기'의 딜레마를 해결한다.
• 현재 방법들이 너무 일반적이거나 최적화되지 않은 서술어로 유사한 클래스를 구분하지 못하는 데서 비롯되는 실패를 극복한다.
• 시각 피드백을 활용해 VLM에서 유도된 피드백을 반복적으로 적용함으로써, 클래스 설명을 자동으로 진화시키는 반복적 파이프라인을 개발한다.
• 다양한 백본 모델에 일반화 가능한 해석 가능하고 강건하며 이식 가능한 텍스트 프롬프트를 생성한다.
• 시각 피드백이 LLM 기반 프롬프트 생성의 최적화 안정성과 분산을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 클래스 설명 최적화를 조합 최적화 문제로 공식화하여, VLM 분류 정확도를 최대화하는 최적의 텍스트 설명을 찾는다.
• LLM 기반 에이전트가 변이와 교배 연산을 사용해 반복적으로 후보 설명을 탐색하고 개선한다.
• CLIP의 혼동 행렬과 상위-1 정확도에서 유도된 시각 피드백이 보상 및 기억 메커니즘으로 작용하여 LLM이 더 나은 해답으로 유도된다.
• 과거의 고성능 설명을 저장하는 메모리 백이 최적화 과정의 안정성 향상과 최적화 결과의 분산 감소에 기여한다.
• 피드백 루프를 통해 LLM이 실제 시각 성능에 기반한 텍스트 생성을 수행함으로써, 무작위 또는 관련 없는 설명을 피할 수 있다.
• 이 프레임워크는 여러 데이터셋과 백본에 적용되어 최적화된 프롬프트의 이식 가능성과 강건성을 입증한다.

Figure 1 : Schematic of the method. (a) Previous methods use an LLM to generate descriptive prompts for each class directly. (b) Our method optimizes class descriptions through an evolutionary process. We utilize a VLM (such as CLIP [ 29 ] ) to obtain visual feedback, e.g. , the confusion matrix, as

실험 결과

연구 질문

• RQ1 LLM이 생성한 클래스 설명은 VLM의 시각 피드백을 통해 체계적으로 향상될 수 있는가? 이를 통해 이미지 분류 정확도가 향상되는가?
• RQ2 상위 클래스 간 관계와 시각 성능 지표를 통합함으로써 LLM이 생성한 설명의 품질과 구분 능력은 어떻게 향상되는가?
• RQ3 시각 피드백은 최적화 과정의 안정성과 LLM 기반 프롬프트 생성의 분산을 어느 정도 향상시키는가?
• RQ4 최적화된 설명은 다양한 비전 백본 모델과 데이터셋 간에 일반화 가능한가?
• RQ5 기존 LLM 기반 방법과 비교해 본다면, 진화된 설명은 해석 가능성과 의미적 관련성 측면에서 얼마나 뛰어나며, 어떤가?

주요 결과

• 이 방법은 9개의 이미지 분류 벤치마크에서 SOTA 기반 LLM 기반 기법 대비 평균 3.47%의 정확도 향상을 달성한다.
• Flowers102 데이터셋에서 최적화된 프롬프트는 ResNet-101과 ViT-B/16 백본으로 이식되었을 때 정확도를 9% 이상 향상시켰다.
• 시각 피드백 또는 메모리 백을 제거할 경우 성능 저하와 높은 분산이 발생하여, 최적화 안정성에서 시각 피드백의 핵심적 역할을 확인하였다.
• 최종적으로 최적화된 설명은 매우 해석 가능하며, 상위 랭크된 설명들은 클래스별 시각적 특징과 강한 의미적 일치를 보이며 모호성을 줄였다.
• 기존 방법들과 달리, 이 방법은 시각적 기반 덕분에 추상적 또는 모호한 클래스를 잘못 분류하지 않아, 예를 들어 '프린스 오브 워즈 페더스'를 헤르메틱 상징이 아니라 식물로 정확히 식별하였다.
• 최적화된 프롬프트는 다양한 백본에서 범용적으로 기존 CLIP 및 LLM 기반 방법을 뛰어넘는 성능을 보이며, 강력한 이식 가능성과 강건성을 입증하였다.

Figure 2 : Illustration of iterative optimization with visual feedback. (a) Given raw class names as input, we first prompt the LLM to generate an initialization of class descriptors. These descriptors undergo an iterative optimization comprising three stages: mutation, where diverse new candidates