[論文レビュー] Multimodal Foundation Models For Echocardiogram Interpretation

Matthew Christensen, Miloš Vukadinovic+2 more|arXiv (Cornell University)|Aug 29, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

この論文では、103万件のエコーカーデオグラム動画と専門家レポートを用いて学習されたマルチモーダル基盤モデル、EchoCLIPを紹介する。このモデルは、心エコー画像のゼロショット解釈を可能にし、左室射出分数推定（外部データでMAE 7.1%）および心内デバイス検出（AUC最高0.98）で優れた性能を示す。また、長文脈対応バージョンであるEchoCLIP-Rは、トップ1%平均ランクを達成する優れた患者追跡およびクロスマodal検索を可能にする。

ABSTRACT

Multimodal deep learning foundation models can learn the relationship between images and text. In the context of medical imaging, mapping images to language concepts reflects the clinical task of diagnostic image interpretation, however current general-purpose foundation models do not perform well in this context because their training corpus have limited medical text and images. To address this challenge and account for the range of cardiac physiology, we leverage 1,032,975 cardiac ultrasound videos and corresponding expert interpretations to develop EchoCLIP, a multimodal foundation model for echocardiography. EchoCLIP displays strong zero-shot (not explicitly trained) performance in cardiac function assessment (external validation left ventricular ejection fraction mean absolute error (MAE) of 7.1%) and identification of implanted intracardiac devices (areas under the curve (AUC) between 0.84 and 0.98 for pacemakers and artificial heart valves). We also developed a long-context variant (EchoCLIP-R) with a custom echocardiography report text tokenizer which can accurately identify unique patients across multiple videos (AUC of 0.86), identify clinical changes such as orthotopic heart transplants (AUC of 0.79) or cardiac surgery (AUC 0.77), and enable robust image-to-text search (mean cross-modal retrieval rank in the top 1% of candidate text reports). These emergent capabilities can be used for preliminary assessment and summarization of echocardiographic findings.

研究の動機と目的

• 画像と臨床レポートのペアデータを用いて、エコーカーデオグラム動画のゼロショット解釈が可能なマルチモーダル基盤モデルの開発。
• 一般用途の基盤モデルが医療画像分野で限界を示す問題を解消するため、エコーカーデオグラムと専門家レポートから構成される大規模かつ臨床的に関連性の高いデータセットを用いて学習。
• 学習されたクロスマodal埋め込みを用いて、心機能障害、心内デバイス、心臓移植や手術などの臨床的変化といった、タスク固有の微調整なしにゼロショットで検出可能にする。
• 同じ個人からの異なる検査でも一貫性のあるエコーカーデオグラム表現を学習することで、時間的経過にわたる患者レベルの追跡を向上。
• 画像からテキスト、テキストから画像への強固な検索機能を提供し、予備的解釈や要約作成を支援することで、臨床意思決定を支援する。

提案手法

• 10年間にわたる臨床的エコーカーデオグラフィーのデータから、99,870人の患者にわたる1,032,975件の固有の動画-テキストペアを用いて、ビジョン・ランゲージ基盤モデルを学習。
• エコーカーデオグラムレポートに最適化された独自のBPEトークナイザーを採用し、平均レポート長を530トークンから63.8トークンに削減。
• 正規表現を用いたテンプレートベースのトークナイザーを設計し、構造化されたフレーズ（例："<_ left ventricular hypertrophy>"）や重症度・定量的用語を、たった770トークンの語彙でエンコード。
• 対照的学習を用いて微調整し、画像とテキストの埋め込みを共通の潜在空間に一致させ、下流タスクへのゼロショット転送を可能に。
• テキストプロンプトの埋め込みと動画の埋め込みのコサイン類似度を用いてゼロショット性能を評価し、回帰タスクでは上位20%プロンプトスコアの中央値を用いる。
• 複数の検査にわたる検索および縦断的患者追跡を可能にするために、強化されたテキストトークナイゼーションを備えた長文脈対応バージョン、EchoCLIP-Rを開発。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ臨床的に関連性の高いエコーカーデオグラフィー・データセットで事前学習された基盤モデルは、射出分数推定やデバイス検出といったゼロショットタスクに一般化可能か？
• RQ2 タスク固有の微調整なしに、心臓の微細な異常や病理的変化（例：心室拡張）をどの程度正確に検出できるか？
• RQ3 クロスマodal埋め込み類似度を用いて、複数のエコーカーデオグラム検査にわたる同一患者をどの程度正確に同定できるか？
• RQ4 時間的経過に伴う埋め込み類似度の変化に基づいて、オルトトープ的心臓移植や心臓手術といった臨床的有意義な出来事は検出可能か？
• RQ5 画像からテキスト、テキストから画像へのクロスマodal検索は、臨床的解釈支援としてどの程度効果的か？

主な発見

• EchoCLIPは、EchoNet-Dynamicデータセットの外部テストセットにおいて、ゼロショット左室射出分数推定で平均絶対誤差（MAE）7.1%を達成した。
• 心内デバイス検出において、高いAUC性能を示した：経皮的僧頭弁修復術で0.97、TAVRで0.92、ペースメーカー・除 fibrillatorリードで0.84。
• EchoCLIP-Rは、21,484件の候補中、平均クロスマodal検索ランクが209であり、正しいレポートまたは動画が上位10%に含まれる確率がそれぞれ33.3%および34.3%であった。
• 患者レベルの埋め込み類似度のAUCが0.86であったため、同じ患者の複数の検査においても表現学習の整合性が高く、明確な一貫性が示された。
• EchoCLIP-Rは、時間的埋め込み類似度の傾向に基づいて、オルトトープ的心臓移植（AUC 0.79）および心臓手術（AUC 0.77）を検出できた。
• 独自のトークナイザーにより、平均レポートトークン長が9倍短縮（530から63.8トークン）されながらも、臨床的意味を保持したため、エコーカーデオグラムレポートの効率的かつ正確な表現が可能になった。