[논문 리뷰] MISS: A Generative Pretraining and Finetuning Approach for Med-VQA

Jiawei Chen, Dingkang Yang외 3명|arXiv (Cornell University)|2024. 01. 10.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 의료 시각질문응답(Med-VQA)를 위한 생성형 프리트레인 및 파인튜닝 프레임워크인 MISS를 제안한다. 이는 VQA를 분류가 아닌 텍스트 생성 작업으로 간주한다. 텍스트 및 다중모달 인코더를 통합한 공동 텍스트-다중모달(JTM) 인코더를 구축하고, 대규모 언어모델(LLM)을 활용해 비라벨링된 의료 이미지로부터 합성된 이미지-텍스트 쌍을 생성하는 새로운 Transfer-and-Caption(TransCap) 방법을 사용함으로써, 최소한의 레이블링된 다중모달 데이터로도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Medical visual question answering (VQA) is a challenging multimodal task, where Vision-Language Pre-training (VLP) models can effectively improve the generalization performance. However, most methods in the medical field treat VQA as an answer classification task which is difficult to transfer to practical application scenarios. Additionally, due to the privacy of medical images and the expensive annotation process, large-scale medical image-text pairs datasets for pretraining are severely lacking. In this paper, we propose a large-scale MultI-task Self-Supervised learning based framework (MISS) for medical VQA tasks. Unlike existing methods, we treat medical VQA as a generative task. We unify the text encoder and multimodal encoder and align image-text features through multi-task learning. Furthermore, we propose a Transfer-and-Caption method that extends the feature space of single-modal image datasets using Large Language Models (LLMs), enabling those traditional medical vision field task data to be applied to VLP. Experiments show that our method achieves excellent results with fewer multimodal datasets and demonstrates the advantages of generative VQA models.

연구 동기 및 목표

• VLP 모델을 위한 프리트레인에 적합한 대규모 고품질 의료 이미지-텍스트 쌍의 부족 문제를 해결하기 위해.
• 기존 Med-VQA 모델이 VQA를 답변 분류로 간주함으로써 실생활 적용에 제한을 받는 문제를 해결하기 위해.
• 분류나 세분화 작업과 같은 단모달 의료 데이터셋(예: 분류 또는 세분화)을 활용해 LLM을 통해 합성 텍스트 설명을 생성함으로써 효과적인 프리트레인을 가능하게 하기 위해.
• 텍스트와 다중모달 표현을 함께 학습하는 통합적이고 효율적인 인코더 아키텍처를 개발하여 성능 향상을 도모하기 위해.
• 의료 영상 응용 분야에서 생성형 VQA가 분류 기반 접근 방식보다 우월한지 입증하기 위해.

제안 방법

• 텍스트와 다중모달 특징 추출을 하나의 공통 인코더로 통합하는 공동 텍스트-다중모달(JTM) 인코더를 제안하여 효율성과 표현 정렬을 향상시킨다.
• 대규모 언어모델(LLM)을 활용해 비라벨링된 단모달 의료 이미지로부터 합성된 이미지-텍스트 쌍을 생성하는 Transfer-and-Caption(TransCap) 방법을 도입한다.
• 프리트레인 단계에서 이미지-텍스트 대비 학습(ITC), 이미지-텍스트 매칭(ITM), 및 마스킹된 언어 모델링(MLM)을 포함한 다중태스크 학습을 수행한다.
• 파인튜닝 단계에서는 표준 디코더 기반 생성 설정을 사용하며, 공동 특징과 토큰화된 답변 간의 상호작용을 통해 MLM 손실을 최적화한다.
• 기존의 단모달 데이터셋(예: 분류나 세분화 작업에서 유래한 데이터셋)을 TransCap의 입력으로 활용하여 프리트레인 데이터 분포를 확장한다.
• 이중 단계 학습 파라다임을 채택한다: 먼저 합성 및 실제 이미지-텍스트 쌍으로 프리트레인을 수행하고, 이후 하류 Med-VQA 벤치마크에서 파인튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 분류 기반 접근 방식과 비교해 의료 VQA를 생성 작업으로 간주할 경우, 모델의 일반화 능력과 실생활 적용 가능성 향상 여부는 어떻게 되는가?
• RQ2 통합된 JTM 인코더는 의료 VQA에서 공동 텍스트-다중모달 표현 학습의 효율성과 품질 향상에 기여하는가?
• RQ3 LLM를 통해 단모달 의료 데이터셋에서 유도된 합성 이미지-텍스트 쌍이 프리트레인 성능 향상에 얼마나 기여하는가?
• RQ4 특히 실제 레이블이 부족한 다중모달 애너테이션에 의존하는 모델들과 비교해, MISS는 프리트레인 데이터가 제한된 상황에서 어떻게 성능을 내는가?
• RQ5 TransCap 방법은 단모달 데이터셋의 특징 공간을 효과적으로 확장하여 효과적인 시각-언어 프리트레인을 지원하는가?

주요 결과

• MISS는 SLAKE 데이터셋에서 프리트레인 이미지 90,000장만으로도 Med-VQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 총 정확도 83.0%를 기록했다.
• 제거 실험 결과 TransCap를 제거할 경우 성능이 크게 저하됨(84.51% → 82.91%로 감소)하여, 데이터 확장에서 TransCap의 핵심적 역할을 입증했다.
• JTM 인코더를 제거할 경우 총 정확도가 84.51%에서 82.82%로 감소하여, 공동 표현 학습에서의 효과성을 확인했다.
• 특히 개방형 질문 응답에서 기존의 분류 기반 Med-VQA 모델들을 능가하며, SLAKE에서 81.87%의 정확도를 달성했다.
• 프리트레인 데이터가 전혀 없을 경우(0장)에도 SLAKE에서 50.99%의 정확도를 기록하여, JTM 및 TransCap 구성 요소가 강력한 인덕티브 바이어스를 제공함을 시사한다.
• 저데이터 의료 VQA 시나리오에서 강력한 zero-shot 및 few-shot 일반화 성능을 보이며 잠재적 응용 가능성을 입증했다.