[논문 리뷰] LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day

Chunyuan Li, Cliff Wong외 7명|arXiv (Cornell University)|2023. 06. 01.

Multimodal Machine Learning Applications인용 수 222

한 줄 요약

LLaVA-Med는 일반 도메인 비전-언어 모델을 생물의학으로 두 단계 커리큘럼으로 적응시켜, 생물의학 개념 정렬에 이어 GPT-4가 생성한 데이터를 사용한 지시-튜닝으로 15시간 이내에 열린 생물의학 시각 대화를 가능하게 한다.

ABSTRACT

Conversational generative AI has demonstrated remarkable promise for empowering biomedical practitioners, but current investigations focus on unimodal text. Multimodal conversational AI has seen rapid progress by leveraging billions of image-text pairs from the public web, but such general-domain vision-language models still lack sophistication in understanding and conversing about biomedical images. In this paper, we propose a cost-efficient approach for training a vision-language conversational assistant that can answer open-ended research questions of biomedical images. The key idea is to leverage a large-scale, broad-coverage biomedical figure-caption dataset extracted from PubMed Central, use GPT-4 to self-instruct open-ended instruction-following data from the captions, and then fine-tune a large general-domain vision-language model using a novel curriculum learning method. Specifically, the model first learns to align biomedical vocabulary using the figure-caption pairs as is, then learns to master open-ended conversational semantics using GPT-4 generated instruction-following data, broadly mimicking how a layperson gradually acquires biomedical knowledge. This enables us to train a Large Language and Vision Assistant for BioMedicine (LLaVA-Med) in less than 15 hours (with eight A100s). LLaVA-Med exhibits excellent multimodal conversational capability and can follow open-ended instruction to assist with inquiries about a biomedical image. On three standard biomedical visual question answering datasets, LLaVA-Med outperforms previous supervised state-of-the-art on certain metrics. To facilitate biomedical multimodal research, we will release our instruction-following data and the LLaVA-Med model.

연구 동기 및 목표

• 고정된 QA를 넘어서 생물의학 이미지를 자유롭게 토론할 수 있는 개방형 생물의학 멀티모달 대화 에이전트를 구축하자는 동기 부여.
• 대규모 생물의학 이미지-텍스트 데이터(PMC-15M)를 활용해 수작업 라벨링 없이 다양한 지시-준수 데이터를 생성한다.
• 두 단계 커리큘럼을 개발해 일반 도메인 VL 모델을 생물의학 도메인에 효율적으로 적응시킨다.
• 도메인 특화 지시-튜닝이 개방형 대화 및 경쟁력 있는 VQA 성능을 더 낫게 한다는 것을 입증한다.
• 생물의학 다중모달 연구를 촉진하기 위해 지시-준수 데이터와 코드를 오픈소스로 제공한다.

제안 방법

• PMC-15M 이미지-캡션 쌍을 샘플링하고 캡션에서 다양한 지시를 GPT-4로 생성하여 생물의학 다중모달 지시-준수 데이터셋을 구성한다.
• 두 단계 커리큘럼 적용: 1단계 생물의학 개념 특징 정렬은 가중치를 고정한 채 선형 투영을 미세조정하여 생물의학 어휘를 정렬한다.
• 2단계 엔드투엔드 지시-튜닝은 비전 인코더를 고정한 채 GPT-4 생성 지시-준수 데이터로 투영과 언어 모델을 함께 학습한다.
• 하위 작업 성능 향상을 위해 세 가지 생물의학 VQA 데이터셋에서 미세조정한다.
• 개방형 대화 및 VQA 벤치마크를 통해 평가하고 LLaVA 및 SOTA 방법과 비교한다.

실험 결과

연구 질문

• RQ1 일반 도메인 다중모달 모델을 생물의학 영상에 효과적으로 적응시켜 개방형 대화가 가능할까?
• RQ2 GPT-4가 생성한 지시-준수 데이터가 생물의학 다중모달 대화 능력을 향상시키는가?
• RQ3 커리큘럼 단계와 데이터 규모가 제로샷 및 미세조정된 생물의학 VQA 성능에 어떤 영향을 미치는가?
• RQ4 LLaVA-Med가 표준 생물의학 VQA 데이터셋에서 지도 학습된 SOTA와 비교해 어떤 성능을 보인가?
• RQ5 이 방식이 비용 효율적이며 다른 수직 도메인에도 일반화 가능한가?

주요 결과

• 60K instruct 샘플(60K-IM)과 인라인 언급을 포함한 두 단계 학습이 다양한 비교실험 중 최상의 성능을 낳았다.
• 미세조정 후 LLaVA-Med가 일반 도메인 LLaVA를 여러 생물의학 VQA 벤치마크에서 능가한다.
• 1단계만으로는 생물의학 어휘 정렬은 개선되지만 지시-준수 대화를 위한 강건함에는 불충분하다.
• GPT-4 참고치와 비교했을 때, 최적 설정의 LLaVA-Med는 평가 설정에서 GPT-4의 측정된 성능의 절반 정도에 도달한다.
• 훈련 시간은 짧다: 1단계는 약 7시간, 2단계는 약 8시간이고 8대 A100 GPU에서 수행되었다.
• 오픈소스 지시-준수 데이터와 코드는 연구 촉진을 위해 공개될 것이다.