[논문 리뷰] Visual In-Context Learning for Large Vision-Language Models

Yucheng Zhou, Xiang Li외 2명|arXiv (Cornell University)|2024. 02. 18.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 Visual In-Context Learning (VICL)을 도입하여 Visual Demonstration Retrieval, Intent-Oriented Image Summarization, 그리고 Intent-Oriented Demonstration Composition을 통해 LVLM의 교차 모달 추론을 강화하고 컨텍스트 기반의 비학습(in-context unlearning)을 가능하게 한다.

ABSTRACT

In Large Visual Language Models (LVLMs), the efficacy of In-Context Learning (ICL) remains limited by challenges in cross-modal interactions and representation disparities. To overcome these challenges, we introduce a novel Visual In-Context Learning (VICL) method comprising Visual Demonstration Retrieval, Intent-Oriented Image Summarization, and Intent-Oriented Demonstration Composition. Our approach retrieves images via ''Retrieval & Rerank'' paradigm, summarises images with task intent and task-specific visual parsing, and composes language-based demonstrations that reduce token count and alleviate cross-modal interaction problem. Experimental evaluations on five visual reasoning datasets demonstrate the effectiveness of our method. Moreover, our extensive experiments leverage information flow analysis to elucidate the effectiveness of our method, and investigate the impact of length and position of demonstrations for LVLM. The use of in-context unlearning further shows promise in resetting specific model knowledge without retraining.

연구 동기 및 목표

• LVLM in-context learning에서 교차 모달 상호작용 및 표현 격차를 동기 부여하고 해결한다.
• Visual Demonstration Retrieval, Intent-Oriented Image Summarization, Intent-Oriented Demonstration Composition의 세 가지 구성요소를 제안한다.
• 다섯 개의 시각 추론 데이터셋에서 VICL이 LVLM의 정확도를 개선함을 보여주고 정보 흐름 및 시演 길이/배치를 분석한다.
• 모델 재학습 없이 컨텍스트 내 비학습(in-context unlearning) 능력을 입증한다.

제안 방법

• Visual Demonstration Retrieval은 사전 학습된 이미지 인코더를 사용해 후보 시演을 검색하고 VL-Enc 모델을 이용한 텍스트 재정렬로 관련성을 정제한다.
• Intent-Oriented Image Summarization (IOIS)은 이미지-질문-답변 트리플에서 작업 의도에 맞춘 시각 요약을 생성해 LVLM의 인지 부하를 감소시킨다.
• Intent-Oriented Demonstration Composition (IODC)은 시演에서 이미지를 이미지 요약으로 대체하고 S_i, Q_i, A_i를 결합해 토큰 한도 내에서 맥락을 풍부하게 한다.
• 정보 흐름 분석(Taylor 확장 기반 가중도)을 통해 VICL이 층과 헤드 간 주의 및 정보 흐름을 어떻게 바꾸는지 평가한다.
• 맥락 내 비학습 실험은 재학습 없이 시演을 통해 잘못 라벨링된 정보를 폐기하는 모델의 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 VICL이 다수의 LVLM과 시각 추론 데이터셋에서 표준 ICL 및 제로샷 프롬프트를 능가하는가?
• RQ2 시각적 시演 검색, 이미지 요약, 시演 구성요소가 성능 향상에 어떻게 기여하는가?
• RQ3 시演 길이, 순서, 시각 요약의 유형이 LVLM에 미치는 영향은 무엇인가?
• RQ4 VICL이 모델 업데이트 없이도 컨텍스트 내 비학습을 효과적으로 가능하게 하는가?

주요 결과

• VICL은 네 가지 LVLM과 다섯 데이터셋 전반에 걸쳐 Zero-Shot 및 ICL을 지속적으로 능가한다.
• IOIS 기반 요약(및 그 변형)이 최상의 결과를 내며 IOIS가 가장 큰 이득을 달성한다.
• 시演 수를 늘리는 것이 일반적으로 ICL보다 VICL에 더 큰 이점을 주며 ICL의 수익은 감소하는 경향이다.
• 데모의 순서, 특히 머리(head)와 꼬리(tail) 위치가 데이터셋 전반의 정확도에 큰 영향을 준다.
• 컨텍스트 내 비학습: VICL은 가장 높은 비학습 정확도를 달성하여 잘못 라벨링된 시演에 대해 강건함을 보인다.