[논문 리뷰] RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training

Zheng Yuan, Qiao Jin외 5명|arXiv (Cornell University)|2023. 03. 01.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 새로운 환자 기반 이미지-텍스트 데이터셋(PMCPM)과 검색-주의 메커니즘을 활용하여 제한된 생물의학적 VQA 데이터에서 성능을 향상시키는 RAMM이라는 검색 보강 생물의학적 시각질의문 답변 프레임워크를 제안한다. 대조적 표현 학습을 통해 PubMed에서 의미적으로 유사한 이미지-텍스트 쌍을 검색하고, 새로운 주의 모듈을 통해 이를 융합함으로써 RAMM은 Med-VQA2019, Med-VQA2021, VQARAD 및 SLAKE에서 최신 기술 수준(SOTA) 성능을 달성하며, 각각 82.13, 39.20, 78.27 및 86.05의 점수를 기록한다.

ABSTRACT

Vision-and-language multi-modal pretraining and fine-tuning have shown great success in visual question answering (VQA). Compared to general domain VQA, the performance of biomedical VQA suffers from limited data. In this paper, we propose a retrieval-augmented pretrain-and-finetune paradigm named RAMM for biomedical VQA to overcome the data limitation issue. Specifically, we collect a new biomedical dataset named PMCPM which offers patient-based image-text pairs containing diverse patient situations from PubMed. Then, we pretrain the biomedical multi-modal model to learn visual and textual representation for image-text pairs and align these representations with image-text contrastive objective (ITC). Finally, we propose a retrieval-augmented method to better use the limited data. We propose to retrieve similar image-text pairs based on ITC from pretraining datasets and introduce a novel retrieval-attention module to fuse the representation of the image and the question with the retrieved images and texts. Experiments demonstrate that our retrieval-augmented pretrain-and-finetune paradigm obtains state-of-the-art performance on Med-VQA2019, Med-VQA2021, VQARAD, and SLAKE datasets. Further analysis shows that the proposed RAMM and PMCPM can enhance biomedical VQA performance compared with previous resources and methods. We will open-source our dataset, codes, and pretrained model.

연구 동기 및 목표

• 생물의학적 시각질의문 답변(VQA)에서 데이터 부족 문제를 해결함으로써 모델의 일반화 능력을 향상시키고 과적합 위험을 줄이기 위해.
• 외부 생물의학 문헌을 활용하여 훈련 신호를 풍부하게 하는 검색 보강 사전학습 및 미세조정 파라다임을 개발하기 위해.
• 생물의학적 다중모달 사전학습 및 검색을 지원하기 위해 PubMed에서 수집한 고품질의 환자 중심 이미지-텍스트 데이터셋(PMCPM)을 구축하기 위해.
• 미세조정 과정에서 입력 이미지와 질문, 그리고 검색된 이미지-텍스트 쌍의 표현을 효과적으로 융합하는 새로운 검색-주의 모듈을 설계하기 위해.
• 기존 데이터셋에 대한 표준 미세조정을 초월하여 다양한 고품질 문헌 자료에서의 검색이 VQA 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• PubMed Central에서 수집한 대규모의 환자 기반 이미지-텍스트 데이터셋인 PMCPM을 제안하며, 다양한 방사선 영상과 그에 해당하는 임상 기술 기술을 포함한다.
• 비밀번호 언어 모델링, 이미지-텍스트 매칭, 이미지-텍스트 대조 학습(ITC)의 세 가지 목표를 사용하여 다중모달 모델을 사전학습한다. 이는 시각적 표현과 텍스트 표현을 정렬하는 데 기여한다.
• 사전학습 단계에서의 ITC 임베딩을 활용하여 각 입력 VQA 샘플에 대해 PMCPM, ROCO 및 MIMIC-CXR에서 의미적으로 유사한 이미지-텍스트 쌍을 검색한다.
• 입력 이미지와 질문, 그리고 검색된 이미지-텍스트 쌍의 표현에 주의를 기울이는 검색-주의 모듈을 도입하여 풍부한 맥락 표현을 생성한다.
• 융합된 표현을 사용하여 모델을 미세조정하여 답변을 예측함으로써, 검색된 문헌으로부터 지식 전이를 가능하게 한다.
• 동적 검색 수 전략을 적용하여, 2~4개의 검색된 쌍에서 최적의 성능을 기록함을 아블레이션 분석을 통해 확인하였으며, 과도한 검색으로 인한 노이즈를 방지한다.

Figure 1 : Example of a similar image whose text includes helpful information for answering biomedical questions. The left part is a biomedical-related question with a provided image. The right part is a similar image in PubMed with a relevant caption that indicates the answer (text in red) to the q

실험 결과

연구 질문

• RQ1 검색을 통해 외부 생물의학 문헌을 활용하면 저자원 생물의학적 VQA 데이터셋에서 성능 향상이 가능할까?
• RQ2 기존의 ROCO 및 MIMIC-CXR 데이터셋과 비교할 때, 새로 구축한 환자 중심의 이미지-텍스트 데이터셋(PMCPM)이 생물의학적 VQA 지원에 얼마나 효과적인가?
• RQ3 검색-주의 메커니즘을 통해 검색된 이미지-텍스트 쌍을 융합하는 것이 표준 미세조정보다 더 높은 답변 정확도를 달성하는가?
• RQ4 VQA 성능 향상에 기여하기 위해 최적의 검색된 이미지-텍스트 쌍의 수는 얼마인가? 이는 노이즈를 유발하지 않도록 해야 한다.
• RQ5 검색된 텍스트에 생물의학적 VQA 질문의 답변이 얼마나 포함되어 있으며, 이는 다양한 데이터셋 간에 어떻게 달라지는가?

주요 결과

• RAMM은 Med-VQA2019에서 82.13점의 점수를 기록하여 이전 방법들을 초월하는 최신 기술 수준의 성능을 달성한다.
• Med-VQA2021에서 RAMM은 39.20점의 점수를 기록하여 도전적인 개방형 생물의학적 VQA에서 뛰어난 성능을 보여준다.
• VQARAD 데이터셋에서 RAMM은 78.27점의 점수를 기록하여 방사선 영상 전용 VQA 작업을 효과적으로 처리함을 시사한다.
• SLAKE 데이터셋에서 RAMM은 86.05점의 점수를 기록하였으며, 폐쇄형 질문에서는 91.59점으로 높은 일반화 능력을 보여준다.
• 아블레이션 연구 결과, PMCPM 데이터셋과 검색 보강 미세조정 메커니즘이 성능 향상에 크게 기여하는 것으로 확인되었다.
• PMCPM에서의 검색은 답변의 29.6%에서 38.7%를 직접적으로 검색된 텍스트에서 확보할 수 있었으며, 이는 검색 전략의 실용성을 입증한다.

Figure 2 : The workflow of our proposed retrieval-augmented paradigm RAMM for biomedical VQA. The origin image is from VQA datasets, and the other images are retrieved. Blue lines represent retrieving image-text pairs (PMCID:4061445, 2278144, 4725742, and 3616602) from PMCPM, ROCO, and MIMIC-CXR dat