[논문 리뷰] Multimodal Foundation Models For Echocardiogram Interpretation

Matthew Christensen, Miloš Vukadinovic외 2명|arXiv (Cornell University)|2023. 08. 29.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 103만 건의 에코카디오그램 영상과 전문가 보고서를 기반으로 훈련된 다중모달 기초 모델인 EchoCLIP을 소개한다. 이 모델은 심장 영상의 제로샷 해석을 가능하게 하며, 왼쪽 뇌실 분당율 추정에서 외부 데이터 기준 MAE 7.1%의 뛰어난 성능을 기록하고, 심장 내 기구 탐지에서는 AUC 최대 0.98를 달성한다. 또한 장기적 맥락을 고려한 변형인 EchoCLIP-R는 높은 정확도로 환자 추적 및 다중모달 검색을 가능하게 하며, 상위 1% 평균 순위를 확보한다.

ABSTRACT

Multimodal deep learning foundation models can learn the relationship between images and text. In the context of medical imaging, mapping images to language concepts reflects the clinical task of diagnostic image interpretation, however current general-purpose foundation models do not perform well in this context because their training corpus have limited medical text and images. To address this challenge and account for the range of cardiac physiology, we leverage 1,032,975 cardiac ultrasound videos and corresponding expert interpretations to develop EchoCLIP, a multimodal foundation model for echocardiography. EchoCLIP displays strong zero-shot (not explicitly trained) performance in cardiac function assessment (external validation left ventricular ejection fraction mean absolute error (MAE) of 7.1%) and identification of implanted intracardiac devices (areas under the curve (AUC) between 0.84 and 0.98 for pacemakers and artificial heart valves). We also developed a long-context variant (EchoCLIP-R) with a custom echocardiography report text tokenizer which can accurately identify unique patients across multiple videos (AUC of 0.86), identify clinical changes such as orthotopic heart transplants (AUC of 0.79) or cardiac surgery (AUC 0.77), and enable robust image-to-text search (mean cross-modal retrieval rank in the top 1% of candidate text reports). These emergent capabilities can be used for preliminary assessment and summarization of echocardiographic findings.

연구 동기 및 목표

• 에코카디오그램 영상과 관련된 이미지 및 임상 보고서 데이터를 이용해 제로샷 영상 해석이 가능한 다중모달 기초 모델 개발
• 일반적인 기초 모델이 의료 영상 분야에서 한계를 보이는 점을 보완하기 위해, 대규모이고 임상적으로 관련성이 높은 에코카디오그램 및 전문가 보고서 데이터셋을 기반으로 훈련
• 학습된 다중모달 임베딩을 활용해, 심장 기능 이상, 심장 내 기구, 심장 이식 또는 수술과 같은 임상 변화를 태스크 특화 미세조정 없이 제로샷으로 탐지 가능하게 하기
• 동일한 환자로부터의 다양한 연구에서조차도 일관된 표현을 학습함으로써 시간에 따라 환자 수준의 추적 개선
• 초기 해석 및 요약 지원을 위한 강력한 이미지-텍스트 및 텍스트-이미지 검색 기능을 통해 임상 의사결정 지원

제안 방법

• 10년간의 임상 에코카디오그램 데이터에서 99,870명의 환자로부터 유니크한 영상-텍스트 쌍 1,032,975건을 사용해 비전-언어 기초 모델 훈련
• 에코카디오그램 보고서에 최적화된 커스터마이징된 BPE 토크나이저를 적용하여 평균 보고서 길이를 530에서 63.8 토큰으로 감소
• 정규표현식 기반 템플릿 토크나이저를 설계하여 구조화된 어휘(예: "<_ 좌심실 비대>")와 정도/정량적 어휘를 770개 토큰의 작은 어휘집으로 인코딩
• 대응 학습을 통해 이미지 및 텍스트 임베딩을 동일한 잠재 공간에 정렬함으로써 제로샷 전이를 가능하게 하기 위해 모델 미세조정
• 유사도 기반 평가를 통해 제로샷 성능 평가: 회귀 태스크에서는 텍스트 프롬프트 임베딩과 영상 임베딩 간余弦 유사도를 사용하며, 상위 20% 프롬프트 점수의 중앙값을 활용
• 다중 연구 간 검색 및 종단적 환자 추적을 지원하기 위해 향상된 텍스트 토크나이징을 적용한 장기 맥락 변형인 EchoCLIP-R 개발

실험 결과

연구 질문

• RQ1 대규모 임상 에코카디오그램 데이터셋으로 사전 훈련된 기초 모델이 분당율 추정 및 기구 탐지와 같은 제로샷 작업으로 일반화될 수 있는가?
• RQ2 태스크 특화 미세조정 없이도 모델이 미세한 심장 이상 및 병리적 변화(예: 심장실 확장)를 얼마나 잘 탐지할 수 있는가?
• RQ3 다중 에코카디오그램 연구 간에 다중모달 임베딩 유사도를 기반으로 동일한 환자를 얼마나 잘 식별할 수 있는가?
• RQ4 시간에 따라 임베딩 유사도 변화를 기반으로, 정상 심장 이식 또는 심장 수술과 같은 임상적 중요 사건을 탐지할 수 있는가?
• RQ5 모델의 다중모달 검색 능력은 얼마나 효과적인가? 임상적 해석 지원을 위한 정확한 이미지-텍스트 및 텍스트-이미지 검색을 가능하게 하는가?

주요 결과

• EchoCLIP는 EchoNet-Dynamic 데이터셋의 외부 테스트 세트에서 제로샷 좌심실 분당율 추정에서 평균 절대 오차(MAE) 7.1%를 기록했다.
• 심장 내 기구 탐지에서 높은 AUC 성능를 보였으며, 경피적 mitral valve repair 탐지에서는 0.97, TAVR에서는 0.92, pace maker/defibrillator leads에서는 0.84를 기록했다.
• EchoCLIP-R는 전체 21,484개 후보 중 평균 다중모달 검색 순위 209를 기록했으며, 정확한 보고서 또는 영상가 10% 이내에 포함된 경우 각각 33.3%와 34.3%의 비율로 나타났다.
• 환자 수준의 임베딩 유사도 기반으로 연구 간 유일한 환자를 식별하는 데 성공했으며, AUC 0.86를 기록하여 표현 학습의 높은 일관성을 입증했다.
• EchoCLIP-R는 시간에 따른 임베딩 유사도 추세를 기반으로 정상 심장 이식(AUC 0.79) 및 심장 수술(AUC 0.77)과 같은 임상 변화를 탐지했다.
• 커스터마이징된 토크나이저는 평균 보고서 길이를 9배 감소시켰으며(530에서 63.8 토큰), 임상적 의미를 유지하면서도 효율적이고 정확한 에코카디오그램 보고서 표현을 가능하게 했다.