[論文レビュー] EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

Miloš Vukadinovic, Xiu Tang+6 more|arXiv (Cornell University)|Oct 13, 2024

Lung Cancer Diagnosis and Treatment被引用数 13

ひとこと要約

EchoPrimeは、マルチビューの動画ベースの vision-language モデルで、12 million video-report ペアを超えるデータで訓練され、標準ビューと疾患にわたる総合的な心エコー図解釈を実行し、23 ベンチマークで最先端の結果を達成します。

ABSTRACT

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.

研究の動機と目的

• 全検査からの複数の視点を活用して、自動化された総合的な心エコー図解釈を促進する。
• すべての標準的な心エコー図ビューを扱う統一された vision-language 埋め込みモデルの開発。
• 視点情報付きアテンションと retrieval-augmented interpretation を実現し、動画全体の情報を統合する。
• 一般化を示すために、さまざまなデータセットと疾病表現に対して性能を評価する。
• タスク特化型モデルおよび従来のファウンデーションモデルと比較して、最先端の結果を確立する。

提案手法

• すべての標準心エコー図ビューにまたがる対比学習を用いて、統一埋め込みモデルを訓練する。
• 各動画の心エコー図ビューを識別するためのビュー分類モジュールを組み込む。
• ビュー情報付き解剖学的アテンション機構を実装し、ビューに基づいて動画固有の解釈に重みを付ける。
• 包括的な研究のすべての動画から情報を統合するために retrieval-augmented interpretation を用いる。
• 2つの独立した医療機関システムからのデータセットを用いて、心臓形態・機能の23のベンチマークを評価する。

実験結果

リサーチクエスチョン

• RQ1 全検査からの複数の視点を活用して、単一の vision-language モデルが包括的な心エコー図解釈を効果的に行えるか？
• RQ2 視点情報付きアテンションは、心エコー図ビュー、解剖学的構造、および臨床解釈との対応を改善するか？
• RQ3 study 内のすべての動画を統合して情報を統合する場合、retrieval-augmented interpretation はどの程度機能するか？
• RQ4 EchoPrime の diverse cardiac benchmarks に対する、タスク特化モデルおよび従来のファウンデーションモデルと比較した性能はどうか？

主な発見

• 23 の多様な心臓形態と機能のベンチマークで最先端の性能を達成。
• 2つの独立した医療システムのデータセットで、タスク特化アプローチと従来のファウンデーションモデルの両方を上回る。
• マルチビュー・視点情報付き・動画ベースの能力を通じて、包括的な心エコー図解釖理解の効果を示す。