[논문 리뷰] BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys

Yu Gu, Jianwei Yang외 6명|arXiv (Cornell University)|2023. 10. 16.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

BiomedJourney는 prior 이미지와 자연어 진행 설명에 조건을 두고, GPT-4를 사용해 지시 데이터와 잠재 확산의 두 단계 커리큘럼으로 반사실 의료 이미지를 생성하며, MIMIC-CXR에서 기준선보다 우수한 성능을 보인다.

ABSTRACT

Rapid progress has been made in instruction-learning for image editing with natural-language instruction, as exemplified by InstructPix2Pix. In biomedicine, such methods can be applied to counterfactual image generation, which helps differentiate causal structure from spurious correlation and facilitate robust image interpretation for disease progression modeling. However, generic image-editing models are ill-suited for the biomedical domain, and counterfactual biomedical image generation is largely underexplored. In this paper, we present BiomedJourney, a novel method for counterfactual biomedical image generation by instruction-learning from multimodal patient journeys. Given a patient with two biomedical images taken at different time points, we use GPT-4 to process the corresponding imaging reports and generate a natural language description of disease progression. The resulting triples (prior image, progression description, new image) are then used to train a latent diffusion model for counterfactual biomedical image generation. Given the relative scarcity of image time series data, we introduce a two-stage curriculum that first pretrains the denoising network using the much more abundant single image-report pairs (with dummy prior image), and then continues training using the counterfactual triples. Experiments using the standard MIMIC-CXR dataset demonstrate the promise of our method. In a comprehensive battery of tests on counterfactual medical image generation, BiomedJourney substantially outperforms prior state-of-the-art methods in instruction image editing and medical image generation such as InstructPix2Pix and RoentGen. To facilitate future study in counterfactual medical generation, we plan to release our instruction-learning code and pretrained models.

연구 동기 및 목표

• 생물 의학 영상에서 반사실 분석을 촉진하여 인과 구조와 강건한 질병 진행 해석을 밝힌다.
• 다양한 모달리티의 환자 여정(이미지와 보고서)을 활용하여 규모에 맞춘 지시 따라하기 데이터 합성.
• 다양한 의학적 진행 설명을 따르면서 환자 불변성을 보존하는 특수 영상 편집 모델 개발.
• 단일 이미지-텍스트 쌍이 풍부한 것을 먼저 활용하는 두 단계 커리큘럼으로 데이터 부족 문제 해결.
• 병변 정확도와 특징 보존을 강조하는 포괄적 지표로 MIMIC-CXR에서 평가.

제안 방법

• 잠재 확산 모델(LDM)을 텍스트 진행 설명과 사전 이미지 모두에 조건으로 확장한다.
• 생물의학 데이터에 더 잘 맞도록 텍스트 인코더로 BiomedCLIP를 사용하고 UNet에 학습 가능한 프로젝션을 둔다.
• GPT-4를 사용하여 두 보고서를 (사전 이미지, 진행 설명, 새로운 이미지) 삼중으로 매핑하여 다중 모달 여정에서 지시를 따르는 데이터를 생성한다.
• 두 단계 커리큘럼 구현: 1단계는 더미 사전 이미지를 가진 이미지-텍스트 쌍으로 사전 학습; 2단계는 실제 사전 이미지를 가진 반사실 삼중으로 미세조정.
• 두 부분 손실로 학습: 사전 이미지 임베딩을 잠재 상태와 연결하고 텍스트 설명에 주목하도록 함: L = E[||epsilon - f_theta(z_t, t, E(D), E(I_P))||^2].
• Stable Diffusion, RoentGen, 및 InstructPix2Pix와 비교하여 병변 정확도와 특징 보존의 개선을 입증한다.

실험 결과

연구 질문

• RQ1 사전 이미지를 조건으로 하고 자유 형식 진행 설명에 따라 반사실 의료 이미지를 정확하게 생성하는 확산 기반 모델이 가능한가?
• RQ2 다양한 모달 여정과 지시 학습을 도입하면 병변 변화와 환자 불변성(인종, 연령, 해부학)을 보존하는 정렬이 개선되는가?
• RQ3 데이터가 부족한 상황에서 두 단계 커리큘럼을 통한 데이터 증강이 반사실 삼중의 학습 안정화에 어떤 역할을 하는가?

주요 결과

모델	Pathology AUC	Race AUC	Age Pearson Corr.	CMIG Score
SD (Rombach et al., 2022)	49.90	77.13	2.73	18.14
IP2P (Brooks et al., 2023)	58.10	78.25	17.82	42.12
RoentGen (Chambon et al., 2022a)	79.61	84.71	28.91	66.08
BiomedJourney (Ours)	80.54	97.22	79.38	83.23

• BiomedJourney는 기준선보다 더 높은 병변 정확도(Pathology AUC = 80.54)를 달성한다.
• BiomedJourney는 기준선보다 더 높은 인종 특징 보존(Race AUC = 97.22)을 달성한다.
• BiomedJourney는 연령 관련 특징을 더 잘 보존한다(Age Pearson Corr. = 79.38).
• BiomedJourney는 비교 방법들 가운데 가장 높은 CMIG 점수(CMIG = 83.23)를 달성한다.
• 변형 연구에서는 두 단계 학습 및 영상 정합이 병변 정확도와 특징 보존을 개선하며, GPT-4 설명이 Impression 기반 설명보다 우수하다는 것을 보여준다.