[논문 리뷰] EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

Miloš Vukadinovic, Xiu Tang외 6명|arXiv (Cornell University)|2024. 10. 13.

Lung Cancer Diagnosis and Treatment인용 수 13

한 줄 요약

EchoPrime은 표준 시야 및 질환 전반에 걸친 전체 심초음파 해석을 수행하기 위해 12 million 개가 넘는 비디오-리포트 페어로 학습된 다중 시야의 비디오 기반 시각-언어 모델로, 23 benchmarks에서 최첨단 결과를 달성합니다.

ABSTRACT

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.

연구 동기 및 목표

• 전체 검사에서 여러 시야를 활용한 자동적이고 포괄적인 심초음파 해석을 촉진한다.
• 모든 표준 심초음파 시야를 처리하는 통합 시각-언어 임베딩 모델을 개발한다.
• 비디오 간 정보를 종합하기 위해 시야 정보를 반영한 어텐션 및 검색 보강 해석을 가능하게 한다.
• 일반화를 입증하기 위해 다양한 데이터세트와 질환 표현에서 성능을 평가한다.
• 태스크-특이적 모델 및 이전 기초 모델과 비교하여 최첨단 결과를 입증한다.

제안 방법

• 모든 표준 심초음파 시야에 걸쳐 대조 학습(contrastive learning)을 이용하여 통합 임베딩 모델을 학습한다.
• 각 비디오에 대한 심초음파 시야를 식별하기 위한 시야 분류 모듈을 포함한다.
• 시야 정보를 반영한 해부학적 어텐션 메커니즘을 구현하여 시야에 따라 비디오별 해석을 가중한다.
• 포괄적 연구에서 모든 비디오의 정보를 통합하기 위해 retrieval-augmented 해석을 사용한다.
• 두 개의 독립된 의료 시스템의 데이터세트를 사용하여 심장 형태와 기능의 23 벤치마크를 평가한다.

실험 결과

연구 질문

• RQ1 단일 시각-언어 모델이 전체 연구에서 다중 시야를 활용하여 포괄적 심초음파 해석을 효과적으로 수행할 수 있는가?
• RQ2 시야 정보를 반영한 어텐션이 심초음파 시야, 해부학적 구조 및 임상 해석 간의 매핑을 향상시키는가?
• RQ3 연구 내 모든 비디오의 정보를 통합할 때 retrieval-augmented 해석은 어떻게 성능을 발휘하는가?
• RQ4 다양한 심장 벤치마크에서 EchoPrime의 태스크-특이적 모델 및 이전 기초 모델 대비 성능은 어떤가?

주요 결과

• 23개의 다양한 심장 형태와 기능 벤치마크에서 최첨단 성능을 달성한다.
• 두 개의 독립된 건강 시스템 데이터세트에서 평가 시 태스크-특이적 접근 방식과 이전 기초 모델을 모두 앞지른다.
• 다중 시야, 시야 정보를 반영한 비디오 기반 능력을 통해 효과적인 포괄적 심초음파 해석을 입증한다.