[논문 리뷰] Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images

Che Liu, Anand Shah외 2명|arXiv (Cornell University)|2023. 10. 10.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 실제 영상의학 보고서에서 생성된 도메인 전용 확산 모델을 사용하여 유일하게 합성 흉부 X선 영상으로 의료 시각-언어 모델을 훈련시키는 방법을 제안하며, 분류, 세분화, 탐지 작업 전반에서 실사 영상으로 사전 훈련한 모델의 성능을 유지하거나 초월함을 입증한다. 주요 기여는 임상적 의미를 유지하면서 개인정보 보호가 가능한 대규모 합성 의료 영상 데이터셋과 익명화된 보고서를 제공함으로써 실사 의료 영상 없이도 확장 가능한 사전 훈련이 가능하게 한 것이다.

ABSTRACT

Medical Vision-Language Pre-training (VLP) learns representations jointly from medical images and paired radiology reports. It typically requires large-scale paired image-text datasets to achieve effective pre-training for both the image encoder and text encoder. The advent of text-guided generative models raises a compelling question: Can VLP be implemented solely with synthetic images generated from genuine radiology reports, thereby mitigating the need for extensively pairing and curating image-text datasets? In this work, we scrutinize this very question by examining the feasibility and effectiveness of employing synthetic images for medical VLP. We replace real medical images with their synthetic equivalents, generated from authentic medical reports. Utilizing three state-of-the-art VLP algorithms, we exclusively train on these synthetic samples. Our empirical evaluation across three subsequent tasks, namely image classification, semantic segmentation and object detection, reveals that the performance achieved through synthetic data is on par with or even exceeds that obtained with real images. As a pioneering contribution to this domain, we introduce a large-scale synthetic medical image dataset, paired with anonymized real radiology reports. This alleviates the need of sharing medical images, which are not easy to curate and share in practice. The code and the dataset can be found in \href{https://github.com/cheliu-computation/MedSyn-RepLearn/tree/main}{https://github.com/cheliu-computation/MedSyn-RepLearn/tree/main}.

연구 동기 및 목표

• 실사 영상 쌍이 필요 없이 실제 영상의학 보고서에서 생성된 합성 의료 영상만을 사용하여 의료 시각-언어 사전 훈련(VLP)이 효과적으로 수행될 수 있는지 조사하는 것.
• 의료 VLP에서의 데이터 부족성과 개인정보 문제를 해결하기 위해 임상적 의미를 유지하는 고해상도 합성 영상을 생성함으로써 핵심 과제를 해결하는 것.
• 다양한 최종 작업, 즉 영상 분류, 의미 세분화, 객체 탐지에 대해 합성 데이터로 사전 훈련된 VLP 모델의 성능을 평가하는 것.
• 향후 연구를 지원하기 위해 공개 가능한 대규모 합성 의료 영상 데이터셋과 익명화된 실제 영상의학 보고서를 제공하는 것.
• 일반 도메인(Stable Diffusion)과 의료 도메인 전용(RoentGen) 생성 모델 간의 효과성을 비교하는 것.

제안 방법

• 영상의학 보고서의 요약을 프롬프트로 사용하여 두 모델인 Stable Diffusion 2.1(일반 도메인)과 RoentGen(의료 도메인 전용)을 활용한 텍스트 유도 영상 생성.
• 일관성과 보고서와의 일对일 대응을 확보하기 위해 고정된 랜덤 시드를 사용하여 512×512 해상도로 50개의 샘플링 스텝을 적용해 합성 영상을 생성.
• 세 가지 최신 VLP 프레임워크인 ConVIRT, GLoRIA, MGCA를 사용하여 시각-언어 대비 사전 훈련을 수행하며, 모든 모델은 실사 텍스트와 짝지어진 합성 영상만으로 훈련된다.
• 이미지 및 텍스트 임베딩 간의 정렬을 위해 대비 학습 목표를 사용하며, 이미지 인코더와 텍스트 인코더를 함께 최적화한다.
• 세 가지 최종 작업에서 평가를 수행한다: 영상 분류(SIIM-ACR), 의미 세분화(RSNA), 객체 탐지(RSNA 및 Object-CXR)이며, 훈련 데이터의 1%, 10%, 100%를 사용한다.
• 실사 영상으로 사전 훈련된 베이스라인 및 두 생성 모델에서 유도된 합성 영상으로 사전 훈련된 모델의 성능을 비교하며, Dice 점수 및 mAP 등의 지표를 사용한다.

Figure 1: A) Conventional VLP pipeline with real image-text pair. B) Our VLP framework with synthetic image and real medical text. We select SD 2.1 and RoentGen [ 18 ] as the generator in this work.

실험 결과

연구 질문

• RQ1 실사 영상 쌍이 필요 없이 실제 영상의학 보고서에서 생성된 합성 의료 영상만으로도 시각-언어 사전 훈련이 효과적으로 수행될 수 있는가?
• RQ2 일반 도메인 확산 모델(Stable Diffusion)에서 생성된 합성 영상으로 사전 훈련된 VLP 모델의 성능은 실사 영상 또는 도메인 전용 합성 데이터로 사전 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 의료 도메인 전용 생성 모델(RoentGen)을 사용할 경우, 합성 영상의 품질과 최종 의료 시각 작업에서의 유용성이 얼마나 향상되는가?
• RQ4 합성 데이터는 의료 VLP에서의 데이터 부족성과 개인정보 문제를 완화하면서도 모델 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 합성 데이터는 의료 시각 작업에서의 제로샷 및 피처샷 일반화에 어떤 영향을 미치는가?

주요 결과

• RoentGen에서 생성된 합성 영상만으로 사전 훈련된 VLP 모델가 모든 최종 작업에서 실사 영상으로 사전 훈련된 모델와 동등하거나 뛰어난 성능을 기록했다.
• SIIM-ACR 분류 작업에서 ConVIRT(RoentGen)는 100% 데이터에서 Dice 점수 61.2%를 기록하여 실사 영상 기반 베이스라인(59.9%)을 1.3%p 향상시켰다.
• RSNA 세분화 작업에서 GLoRIA(RoentGen)는 Dice 점수 69.8%를 기록하여 실사 영상 기반 베이스라인(68.3%)을 1.5점 초월했다.
• RSNA 객체 탐지 작업에서 MGCA(RoentGen)는 100% 데이터에서 mAP 25.3%를 기록하여 실사 영상 기반 베이스라인(24.9%)을 0.4점 초월했다.
• 반면, Stable Diffusion(SD)에서 생성된 합성 영상으로 사전 훈련된 모델는 일관된 성능 저하를 보였으며, SIIM에서 ConVIRT(SD)의 Dice 점수는 100% 데이터에서 12.6%p 하락했다.
• 본 연구는 실사 영상의학 보고서와 함께 익명화된 대규모 합성 흉부 X선 영상 데이터셋을 공개하는 첫 사례를 제공하며, 논문 수락 후 공개되어 개인정보 보호 기반 연구를 가능하게 한다.

Figure 2: The synthetic samples images generated from real radiology report from SD 2.1 and RoentGen.