[論文レビュー] Multimodal Fusion of Echocardiography and Electronic Health Records for the Detection of Cardiac Amyloidosis

Zishun Feng, Joseph A. Sivak+1 more|arXiv (Cornell University)|Apr 17, 2024

Amyloidosis: Diagnosis, Treatment, OutcomesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本研究では、心膜長軸切断法および心尖四心腔切断法の超音波画像と電子的健康記録（EHR）データ（人口統計、検査結果、心臓機能指標を含む）を統合するトランスフォーマー基盤のマルチモーダル統合モデルを提案し、心筋症変性の検出を目的としている。41例の小規模なデータセット上で0.94のAUROCを達成し、マルチモーダル統合により最小限のデータで高い診断性能を実現できることを示しており、単一モダリティや大規模な画像データに依存するアプローチを上回っている。

ABSTRACT

Cardiac amyloidosis, a rare and highly morbid condition, presents significant challenges for detection through echocardiography. Recently, there has been a surge in proposing machine-learning algorithms to identify cardiac amyloidosis, with the majority being imaging-based deep-learning approaches that require extensive data. In this study, we introduce a novel transformer-based multimodal fusion algorithm that leverages information from both imaging and electronic health records. Specifically, our approach utilizes echocardiography videos from both the parasternal long-axis (PLAX) view and the apical 4-chamber (A4C) view along with patients' demographic data, laboratory tests, and cardiac metrics to predict the probability of cardiac amyloidosis. We evaluated our method using 5-fold cross-validation on a dataset comprising 41 patients and achieved an Area Under the Receiver Operating Characteristic curve (AUROC) of 0.94. The experimental results demonstrate that our approach can achieve competitive results with a significantly smaller dataset compared to prior imaging-based methods that required data from thousands of patients. This underscores the potential of leveraging multimodal data to enhance diagnostic accuracy in the identification of complex cardiac conditions such as cardiac amyloidosis.

研究の動機と目的

• 専門家による解釈が限られる臨床現場において、まれでかつ未診断の多い心筋症変性を検出する課題に対処すること。
• 画像診断にとどまらず、超音波画像と構造化されたEHRデータという多様なデータソースを統合することで、診断精度を向上させること。
• 深層学習を用いたマルチモーダル統合が、大規模な画像データに依存せずに小規模なデータセットでも高い性能を達成できるかどうかを評価すること。
• 心筋症変性予測において、画像およびEHRモダリティの両方で最も情報量の多い特徴を同定すること。

提案手法

• トランスフォーマー基盤の中間統合モデルが、2つの超音波画像ビュー（PLAXおよびA4C）とEHRデータを、共通の潜在空間で統合する。
• 超音波画像特徴は、動画シーケンスから3次元畳み込みニューラルネットワークを用いて抽出され、その後時間的プーリングが施される。
• EHR特徴は、人口統計、心臓機能指標、検査結果データの早期統合を経て、学習された投影層によって埋め込まれる。
• モデルは、各モダリティおよびコンポonentの寄与度を動的に評価するためのマルチヘッド自己注意メカニズムを用いる。
• 性能評価には、AUROCを主な指標として用い、5分割交差検証が実施される。
• アブレーションスタディおよび注意可視化を用いて、特徴の重要度とモデルの解釈可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 超音波画像とEHRデータのマルチモーダル統合は、単一モダリティモデルと比較して、心筋症変性の検出を改善できるか？
• RQ2 本タスクにおいて、中間統合と後期統合のどちらが、画像とEHRデータの統合に適しているか？
• RQ3 EHRのどの要素（人口統計、検査結果、心臓機能指標）が予測性能に最も寄与しているか？
• RQ4 41例の小規模なデータセットでも、大規模な画像専用モデルと同等の結果を得られるか？
• RQ5 モデルの注意メカニズムが示すところでは、心筋症変性を予測する上で、どの特徴が最も予測的か？

主な発見

• 提案されたマルチモーダル中間統合モデルは、41例（17例の症例、24例の対照群）のデータセットでAUROC 0.94を達成し、単一モダリティモデルを著しく上回った。
• 41例のデータのみを用いても、2,828例の患者で学習された3D CNNモデル（AUROC 0.96）を上回る性能を示したため、データ効率性が裏付けられた。
• 検査結果がEHR性能に最も寄与しており、BNPおよび尿タンパク質値が特に重要な個別特徴であった。
• 画像データ全体として、EHRデータよりも予測に寄与度が高く、PLAXおよびA4C両ビューがほぼ同等の重要度を示した。
• アブレーションスタディの結果、検査結果データの削除がモデル性能に最も大きな影響を与えた一方、人口統計および生命徴データは最も寄与度が低かった。
• 注意可視化により、モデルが臨床的に意味のある特徴（例：壁厚さ、射出分数、BNP値）を、関係の薄い項目よりも優先して学習していることが明らかになった。