[논문 리뷰] InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

Wenliang Dai, Junnan Li외 7명|arXiv (Cornell University)|2023. 05. 11.

Multimodal Machine Learning Applications인용 수 401

한 줄 요약

InstructBLIP은 고정된 BLIP-2 백본과 instruction-aware Q-Former를 통해 비전-언어 지시 튜닝을 결합하여 다양한 비전-언어 태스크에서 강력한 zero-shot 일반화를 달성하고, 다운스트림 파인튜닝을 위한 우수한 초기화로서 뛰어납니다.

ABSTRACT

Large-scale pre-training and instruction tuning have been successful at creating general-purpose language models with broad competence. However, building general-purpose vision-language models is challenging due to the rich input distributions and task diversity resulting from the additional visual input. Although vision-language pretraining has been widely studied, vision-language instruction tuning remains under-explored. In this paper, we conduct a systematic and comprehensive study on vision-language instruction tuning based on the pretrained BLIP-2 models. We gather 26 publicly available datasets, covering a wide variety of tasks and capabilities, and transform them into instruction tuning format. Additionally, we introduce an instruction-aware Query Transformer, which extracts informative features tailored to the given instruction. Trained on 13 held-in datasets, InstructBLIP attains state-of-the-art zero-shot performance across all 13 held-out datasets, substantially outperforming BLIP-2 and larger Flamingo models. Our models also lead to state-of-the-art performance when finetuned on individual downstream tasks (e.g., 90.7% accuracy on ScienceQA questions with image contexts). Furthermore, we qualitatively demonstrate the advantages of InstructBLIP over concurrent multimodal models. All InstructBLIP models are open-sourced at https://github.com/salesforce/LAVIS/tree/main/projects/instructblip.

연구 동기 및 목표

• 지시 형식으로 변환된 공공 데이터셋을 넓은 범위로 사용하여 비전-언어 지시 튜닝을 체계적으로 연구한다.
• 특정 지시에 맞춰 시각 표현을 조정하기 위한 instruction-aware 시각 특징 추출을 제안한다.
• 다중 데이터셋 학습과 zero-shot 일반화에 대한 영향과 함께 학습 데이터 균형화를 조사한다.
• 다양한 비전-언어 태스크 및 LLM 백본에서 zero-shot 및 파인튜닝 성능을 입증한다.
• 오픈 소스 모델을 공개하고 포괄적인 벤치마크 및 정성적 분석을 제공한다.

제안 방법

• 사전 학습된 BLIP-2 모델(image encoder, LLM, 및 Q-Former)로 초기화한다.
• 지시 튜닝을 가능하게 하기 위해 이미지 인코더와 LLM은 고정한 채 Q-Former만 파인튜닝한다.
• 26개 데이터셋을 11개 작업 범주에 걸친 지시 템플릿으로 변환하여 13 held-in 및 13 held-out 데이터셋에 적용한다.
• 주어진 지시를 기반으로 시각 특징 추출을 조정하는 instruction-aware Q-Former를 도입한다.
• 데이터셋 크기의 제곱근에 비례하는 균형 샘플링 전략을 적용하여 다중 데이터셋 학습의 안정성을 높인다.
• 추론 시 분류 및 다지선다 문제에 대해 어휘 순위 생성 방식을 사용한다.

Figure 1: A few qualitative examples generated by our InstructBLIP Vicuna model. Here, a range of its diverse capabilities are demonstrated, including complex visual scene understanding and reasoning, knowledge-grounded image description, multi-turn visual conversation, etc.

실험 결과

연구 질문

• RQ1 비전-언어 지시 튜닝이 하나의 통합된 모델 플랫폼에서 보지 않은 데이터셋과 태스크로 일반화 가능하게 만들 수 있는가?
• RQ2 지시 인식 시각 특징 추출이 다양한 태스크에서 태스크 관련성 및 zero-shot 성능을 향상시키는가?
• RQ3 균형 잡힌 다중 데이터셋 학습이 안정성과 전반적 일반화에 미치는 영향은 무엇인가?
• RQ4 다른 LLM 백본에서 zero-shot 및 다운스트림 파인튜닝 시나리오에서 InstructBLIP 모델은 어떻게 수행되는가?
• RQ5 비전-언어 모델에서 zero-shot 일반화를 위한 지시 튜닝은 다중태스크 학습과 어떻게 비교되는가?

주요 결과

• InstructBLIP은 다양한 비전-언어 태스크에서 13개의 held-out 데이터셋에 대해 새로운 zero-shot SOTA를 달성한다.
• 지시 튜닝은 zero-shot 설정에서 BLIP-2 및 대형 Flamingo 모델을 지속적으로 능가한다.
• 지시 인식 시각 특징은 특히 공간 및 시간 추론 태스크에서 상당한 이점을 제공한다.
• 균형 데이터 샘플링은 held-in 및 held-out 평가 전반에서 학습 안정성과 전체 성능을 향상시킨다.
• InstructBLIP로 파인튜닝하면 다운스트림 모델의 초기화가 더 효과적이어서 여러 데이터셋에서 SOTA를 달성한다.

Figure 2: Tasks and their corresponding datasets used for vision-language instruction tuning. The held-in datasets are indicated by yellow and the held-out datasets by white.