[논문 리뷰] Towards Unifying Medical Vision-and-Language Pre-training via Soft Prompts

Zhihong Chen, Shizhe Diao외 3명|arXiv (Cornell University)|2023. 02. 17.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 이미지 전용, 텍스트 전용, 이미지-텍스트 쌍 입력을 모두 처리할 수 있도록 학습 가능한 시각적 및 텍스트 소프트 프롬프트를 사용하는 통합 의료 비전-언어 사전학습 프레임워크인 PTUnifier를 제안한다. 퓨전-에인코더와 듀얼-에인코더 파라다임의 목표를 통합함으로써 스케일러비리티를 확보하기 위해 프롬프트 풀을 활용함으로써, 작업별 특화된 적응 없이도 단일 모델로 유모달, 크로스모달, 멀티모달 의료 작업에서 최고 성능을 달성한다.

ABSTRACT

Medical vision-and-language pre-training (Med-VLP) has shown promising improvements on many downstream medical tasks owing to its applicability to extracting generic representations from medical images and texts. Practically, there exist two typical types, extit{i.e.}, the fusion-encoder type and the dual-encoder type, depending on whether a heavy fusion module is used. The former is superior at multi-modal tasks owing to the sufficient interaction between modalities; the latter is good at uni-modal and cross-modal tasks due to the single-modality encoding ability. To take advantage of these two types, we propose an effective yet straightforward scheme named PTUnifier to unify the two types. We first unify the input format by introducing visual and textual prompts, which serve as a feature bank that stores the most representative images/texts. By doing so, a single model could serve as a extit{foundation model} that processes various tasks adopting different input formats ( extit{i.e.}, image-only, text-only, and image-text-pair). Furthermore, we construct a prompt pool (instead of static ones) to improve diversity and scalability. Experimental results show that our approach achieves state-of-the-art results on a broad range of tasks, spanning uni-modal tasks ( extit{i.e.}, image/text classification and text summarization), cross-modal tasks ( extit{i.e.}, image-to-text generation and image-text/text-image retrieval), and multi-modal tasks ( extit{i.e.}, visual question answering), demonstrating the effectiveness of our approach. Note that the adoption of prompts is orthogonal to most existing Med-VLP approaches and could be a beneficial and complementary extension to these approaches.

연구 동기 및 목표

• 기존 의료 비전-언어 사전학습 모델이 퓨전-에인코더 또는 듀얼-에인코더 유형으로 나뉘어 각각 특정 작업 유형에서는 뛰어나지만 둘 다를 동시에 잘 수행하지 못하는 한계를 해결한다.
• 퓨전-에인코더와 듀얼-에인코더 모델의 능력을 하나의 호환 가능한 아키텍처로 통합하여 다양한 입력 형식(이미지 전용, 텍스트 전용, 이미지-텍스트 쌍)을 지원한다.
• 각 모odal에 대해 정적 프롬프트가 아닌 프롬프트 풀을 도입함으로써 모델의 스케일러비리티와 표현 다양성을 향상시킨다.
• 아키텍처나 작업별 특화된 수정 없이도 유모달(예: 이미지/텍스트 분류), 크로스모달(예: 검색), 멀티모달(예: VQA) 작업 전반에서 효과적으로 성능을 발휘할 수 있도록 한다.
• 기존 Med-VLP 방법과 수직적이고 상호 보완적인 경량 확장 기능을 제공하여, 아키텍처 재설계 없이도 기존 방법의 적용 범위를 넓힌다.

제안 방법

• 이미지 전용, 텍스트 전용, 이미지-텍스트 입력을 모두 통일된 표현 공간으로 변환하기 위해 시각적 및 텍스트 소프트 프롬프트를 통합 입력 형식으로 도입한다.
• 입력 유형에 따라 동적으로 프롬프트를 선택할 수 있도록 시각적 및 텍스트 전용 프롬프트 풀을 구성하여 대표 임베딩를 저장한다.
• 퓨전-에인코더에서 유래한 마스크된 언어 모델링(MLM)과 이미지-텍스트 매칭(ITM) 및 듀얼-에인코더에서 유래한 이미지-텍스트 대비(ITC) 목표를 조합하여 통합 모델을 사전학습한다.
• 프롬프트 풀을 통해 모달별 인덕티브 바이어스를 주입함으로써, 동일한 백본 모델이 아키텍처 변경 없이 다양한 입력 유형에 적응할 수 있도록 한다.
• 일반적인 표현을 학습하기 위해 ROCO, MedICaT, MIMIC-CXR와 같은 세 개의 대규모 의료 데이터셋에서 학습한다.
• 특정 작업에 대한 미세조정 없이도 프롬프트 기반 적응과 공통 표현 학습에 의존하여 다양한 작업에 통합 모델을 적용한다.

Figure 1: (a) Illustrations of two Med-VLP paradigms and their advantages (pointed by green arrows) and disadvantages (pointed by red arrows) in downstream tasks; (b) The overall architecture of our proposed approach, where the backbone models share the same parameters, and we duplicate them for ill

실험 결과

연구 질문

• RQ1 통합 프레임워크를 사용하여 단일 의료 비전-언어 사전학습 모델이 이미지 전용, 텍스트 전용, 이미지-텍스트 쌍 입력을 효과적으로 처리할 수 있는가?
• RQ2 퓨전-에인코더와 듀얼-에인코더 파라다임의 목표를 결합함으로써 다양한 의료 비전-언어 작업에서 성능 향상이 이루어지는가?
• RQ3 정적 프롬프트에 비해 프롬프트 풀 메커니즘이 모델의 스케일러비리티와 표현 다양성 향상에 기여하는가?
• RQ4 제안된 방법이 유모달, 크로스모달, 멀티모달 벤치마크에서 작업별 특화 모델이나 기존 Med-VLP 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 방법이 기존 Med-VLP 아키텍처와 수직적이고 상호 보완적인가? 이를 통해 아키텍처 재설계 없이도 더 넓은 적용 범위를 확보할 수 있는가?

주요 결과

• PTUnifier는 평가된 모든 작업에서 최고 성능을 기록했으며, 이미지 분류(Chexpert에서 88.7% AUROC), 텍스트 분류(89.0% AUROC), 멀티모달 VQA(80.0% 정확도)에서 뛰어난 성능을 보였다.
• MLM, ITM, ITC 목표를 모두 사용해 사전학습한 모델이 모든 벤치마크에서 최고 성능을 기록했으며, 이는 퓨전-에인코더와 듀얼-에인코더 목표를 결합함으로써 상호 보완적인 이점이 있음을 입증한다.
• MIMIC-CXR 데이터셋에서 PTUnifier는 개방형 VQA에서 84.6% 정확도, 폐쇄형 VQA에서 78.3% 정확도를 기록했으며, R2Gen 및 WGSum과 같은 이전 방법을 뛰어넘었다.
• 학습 데이터의 1%만으로도 ITC 목표로 사전학습한 모델이 폐쇄형 VQA에서 10.7% 정확도를 기록했으며, 이는 강력한 소수의 샘플 일반화 능력을 보여준다.
• ITC 목표는 시각 전용 및 크로스모달 작업에서 성능 향상을 크게 이끌었지만, 텍스트 전용 분류에서는 성능 향상이 없었으며, 이는 모달 간 비대칭적 감독이 존재함을 시사한다.
• 아블레이션 연구를 통해 MLM, ITM, ITC 목표를 모두 조합할 경우 최고의 전이 성능이 달성되었으며, 이는 두 파라다임을 통합함으로써 효과적인 것을 검증한다.