[論文レビュー] A deep neural network to enhance prediction of 1-year mortality using echocardiographic videos of the heart

Alvaro Ulloa, Linyuan Jing+14 more|arXiv (Cornell University)|Nov 26, 2018

Machine Learning in Healthcare参考文献 31被引用数 4

ひとこと要約

本研究では、原始的エコーカーディオグラム動画を分析する深層ニューラルネットワークを開発し、1年生存率予測のAUCが0.839に達し、専門的心臓病医を上回る精度を示した。電子的健康記録（EHR）データと組み合わせると、モデルのAUCは0.858に向上し、医療画像と縦断的データを用いた深層学習の臨床的予測への応用の可能性を示している。

ABSTRACT

Predicting future clinical events helps physicians guide appropriate intervention. Machine learning has tremendous promise to assist physicians with predictions based on the discovery of complex patterns from historical data, such as large, longitudinal electronic health records (EHR). This study is a first attempt to demonstrate such capabilities using raw echocardiographic videos of the heart. We show that a large dataset of 723,754 clinically-acquired echocardiographic videos (~45 million images) linked to longitudinal follow-up data in 27,028 patients can be used to train a deep neural network to predict 1-year mortality with good accuracy (area under the curve (AUC) in an independent test set = 0.839). Prediction accuracy was further improved by adding EHR data (AUC = 0.858). Finally, we demonstrate that the trained neural network was more accurate in mortality prediction than two expert cardiologists. These results highlight the potential of neural networks to add new power to clinical predictions.

研究の動機と目的

• 原始的エコーカーディオグラム動画データを用いて1年生存率を予測する深層学習モデルの開発を目的とする。
• 専門的心臓病医との比較を通じて、モデルの生存率予測性能を評価することを目的とする。
• エコーカーディオグラム動画解析に電子的健康記録（EHR）データを統合することによる追加的価値を評価することを目的とする。
• 大規模かつ臨床的に収集されたエコーカーディオグラム動画データセットを用いて深層ニューラルネットワークをトレーニングする可能性を示すこと。
• 深層学習が臨床意思決定支援のため、医療動画から複雑で予測可能なパターンを抽出する可能性を検討すること。

提案手法

• 本モデルは、約4500万枚の画像に相当する72万3754本のエコーカーディオグラム動画で構成される大規模データセットを用いてトレーニングされた。
• モデルは、心臓の動きにおける空間的・時間的パターンを捉えるために、3次元畳み込みニューラルネットワーク（3D-CNN）アーキテクチャを用いて抽出された動画レベルの特徴量を利用している。
• モデルのトレーニングは、1年生存率の結果を追跡できる2万7028名の患者のコhortを対象として実施された。
• 性能評価は、独立したテストセットにおける受信器操作特性曲線の下側面積（AUC）を用いて実施された。
• 予測精度の向上を図るため、EHRデータと動画特徴量を早期に統合する手法が適用された。
• 過学習を防ぐために、ハイパーパramータチューニングと正則化技術（ドロップアウトを含む）が適用され、TensorFlow v1.12のドロップアウトバグを修正した後、性能が検証された。

実験結果

リサーチクエスチョン

• RQ1 原始的エコーカーディオグラム動画でトレーニングされた深層ニューラルネットワークは、大規模な患者コhortにおいて1年生存率を正確に予測できるか？
• RQ2 電子的健康記録（EHR）データの統合により、動画ベースのモデルの予測性能がさらに向上するか？
• RQ3 深層学習モデルの1年生存率予測性能は、専門的心臓病医の性能と比べてどうか？
• RQ4 深層学習モデルは、人間の専門家が容易に特定できない、エコーカーディオグラム動画内の微細で複雑なパターンを検出できるか？
• RQ5 臨床的に収集された大規模なエコーカーディオグラム動画データセットを用いてトレーニングした場合、モデルのスケーラビリティと頑健性はどの程度か？

主な発見

• 深層ニューラルネットワークは、独立したテストセットにおいて、エコーカーディオグラム動画のみを用いて1年生存率を予測するAUCが0.839に達した。
• 電子的健康記録（EHR）データと組み合わせた場合、モデルのAUCは0.858に向上し、マルチモodalデータ統合による顕著な性能向上を示した。
• 深層学習モデルは、2名の専門的心臓病医を上回り、優れた予測精度を示した。
• TensorFlow v1.12のドロップアウト関連バグを修正した後も、モデルの性能は安定しており、報告された結果の信頼性が確認された。
• 学習曲線から、より多くのトレーニングデータでモデルの性能が継続的に向上することが示され、より大きなデータセットでさらなる性能向上の可能性が示唆された。
• 本研究では、深層学習が大規模に原始的エコーカーディオグラム動画から臨床的に関連のある予測可能なパターンを抽出できることを示した。