[논문 리뷰] Merlin: A Computed Tomography Vision-Language Foundation Model and Dataset
Merlin은 3D 비전-언어 기초 모델로, 쌍으로된 CT 스캔, EHR 코드, 방사선 보고서를 학습하여 제로샷 및 적응 작업을 수행하고, 단일 GPU 계산 전략을 사용하여 3D 분할 및 방사선 보고서 생성을 포함합니다.
The large volume of abdominal computed tomography (CT) scans coupled with the shortage of radiologists have intensified the need for automated medical image analysis tools. Previous state-of-the-art approaches for automated analysis leverage vision-language models (VLMs) that jointly model images and radiology reports. However, current medical VLMs are generally limited to 2D images and short reports. Here to overcome these shortcomings for abdominal CT interpretation, we introduce Merlin, a 3D VLM that learns from volumetric CT scans, electronic health record data and radiology reports. This approach is enabled by a multistage pretraining framework that does not require additional manual annotations. We trained Merlin using a high-quality clinical dataset of paired CT scans (>6 million images from 15,331 CT scans), diagnosis codes (>1.8 million codes) and radiology reports (>6 million tokens). We comprehensively evaluated Merlin on 6 task types and 752 individual tasks that covered diagnostic, prognostic and quality-related tasks. The non-adapted (off-the-shelf) tasks included zero-shot classification of findings (30 findings), phenotype classification (692 phenotypes) and zero-shot cross-modal retrieval (image-to-findings and image-to-impression). The model-adapted tasks included 5-year chronic disease prediction (6 diseases), radiology report generation and 3D semantic segmentation (20 organs). We validated Merlin at scale, with internal testing on 5,137 CT scans and external testing on 44,098 CT scans from 3 independent sites and 2 public datasets. The results demonstrated high generalization across institutions and anatomies. Merlin outperformed 2D VLMs, CT foundation models and off-the-shelf radiology models. We also release our trained models, code, and dataset, available at: https://github.com/StanfordMIMI/Merlin.
연구 동기 및 목표
- 복부 CT 해석을 위한 3D 비전-언어 모델을 개발하여 방사선 의사의 업무부담을 줄이는 것을 동기로 삼고 해결합니다.
- 구조화된 EHR 데이터와 비구조적 방사선 보고서를 활용하여 추가 수동 주석 없이 CT 기반 VLM을 감독합니다.
- Merlin을 광범위한 작업군에서 평가하여 제로샷 및 적응 능력을 입증하고 데이터 요구사항을 분석합니다.
- Merlin이 단일 GPU에서 학습될 수 있으며 외부 데이터세트와 공개 CT 데이터세제로 일반화될 수 있음을 보입니다.
제안 방법
- CT 스캔(6백만 장 이상, 15,331개 CT로부터)과 EHR 진단 코드(180만 개 이상), 방사선 보고서(6백만 토큰)를 페어링하여 Merlin을 학습합니다.
- 진단 코드를 바이너리 크로스 엔트로피 손실에 사용하고, 방사선 보고서를 InfoNCE 손실로 활용하며 단계적 또는 다중 작업 방식으로 학습합니다.
- I3D 기반 초기화와 3D 백본으로 끝-to-end의 전체 3D CT 볼륨을 처리합니다.
- 적응 없이 제로샷의 발견 분류, 표현형 분류, 제로샷 교차모달 검색을 평가하고, 5년 질환 예측, 방사선 보고서 생성, 3D 의미 분할 등의 적응 작업을 수행합니다.
- 백본 선택, 데이터 타입(EHR 대 보고서), 보고서 분할, 학습 전략(단계적 대 다중 작업) 등을 평가하기 위한 분석을 수행합니다.
- 사전학습 데이터 크기와 성능 간의 데이터 확장법을 도출하고 단일 GPU에서의 학습이 실용성과 일반화에 미치는 영향을 입증합니다.

실험 결과
연구 질문
- RQ1EHR 데이터와 비구조적 방사선 보고서로 함께 학습된 3D 비전-언어 모델이 복부 CT 해석에서 작업별 baselines를 능가할 수 있습니까?
- RQ2데이터 유형(EHR 코드 대 방사선 보고서), 모델 아키텍처, 학습 전략이 3D 의료 VLM의 제로샷 및 적응 작업 성능에 어떤 영향을 줍니까?
- RQ3Merlin이 목표 하류 성능을 달성하기 위한 데이터 확장 요건은 무엇이며 단일 GPU 학습이 실용성과 일반화에 어떤 영향을 미칩니까?
주요 결과
- Merlin은 내부 평균 0.741, 외부 평균 0.647의 31개 발견에 대해 강한 제로샷 F1을 달성하고 OpenCLIP 및 BioMedCLIP보다 우수합니다(p < 0.001).
- Merlin은 692개의 표현형에 대해 매크로-AUROC 0.812를 달성하고, 258개 표현형에서 0.85 AUROC 이상, 102개 표현형에서 0.9 AUROC 이상을 달성합니다.
- 제로샷 교차모달 검색(이미지에서 발견으로, 이미지에서 소견으로)은 내부 데이터에서 기준점을 상회하고 외부 데이터에도 외부 기준보다 5-7배 더 잘 일반화합니다.
- 5년 다질환 예측을 6개 질환에 대해 수행할 때 Merlin은 100% 다운스트림 라벨에서 AUROC 0.757, 10% 라벨에서 0.708로 ImageNet 사전학습 모델보다 우수합니다.
- Merlin은 3D 의미 분할을 개선하고, 특히 작거나 복잡한 장기에 대해 향상되며 데이터가 부족한(regimes) 상황(10% 데이터)에서도 견고성을 보입니다.
- Merlin의 방사선 보고서 생성은 RadFM을 여러 지표에서 능가하고 해부학적 섹션과 정렬된 구조화된 보고서를 생성합니다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.