[論文レビュー] Fast and accurate classification of echocardiograms using deep learning

Ali Madani, Ramy Arnaout+2 more|arXiv (Cornell University)|Jun 27, 2017

Cardiac Imaging and DiagnosticsMedicine参考文献 9被引用数 16

ひとこと要約

本論文では、834,267枚の匿名化画像から15の標準的心エコー画像ビューを分類するための深層学習アプローチを提案している。モデルは単一の低解像度画像で91.7%の正確性を達成し、動画クリップでは97.8%に達し、ボード資格を持つ心エコー専門医を上回り、自動視野認識における高い正確性と臨床的妥当性を示している。

ABSTRACT

Echocardiography is essential to modern cardiology. However, human interpretation limits high throughput analysis, limiting echocardiography from reaching its full clinical and research potential for precision medicine. Deep learning is a cutting-edge machine-learning technique that has been useful in analyzing medical images but has not yet been widely applied to echocardiography, partly due to the complexity of echocardiograms' multi view, multi modality format. The essential first step toward comprehensive computer assisted echocardiographic interpretation is determining whether computers can learn to recognize standard views. To this end, we anonymized 834,267 transthoracic echocardiogram (TTE) images from 267 patients (20 to 96 years, 51 percent female, 26 percent obese) seen between 2000 and 2017 and labeled them according to standard views. Images covered a range of real world clinical variation. We built a multilayer convolutional neural network and used supervised learning to simultaneously classify 15 standard views. Eighty percent of data used was randomly chosen for training and 20 percent reserved for validation and testing on never seen echocardiograms. Using multiple images from each clip, the model classified among 12 video views with 97.8 percent overall test accuracy without overfitting. Even on single low resolution images, test accuracy among 15 views was 91.7 percent versus 70.2 to 83.5 percent for board-certified echocardiographers. Confusional matrices, occlusion experiments, and saliency mapping showed that the model finds recognizable similarities among related views and classifies using clinically relevant image features. In conclusion, deep neural networks can classify essential echocardiographic views simultaneously and with high accuracy. Our results provide a foundation for more complex deep learning assisted echocardiographic interpretation.

研究の動機と目的

• 実臨床画像における標準的心エコー画像ビューを正確に同定できる深層学習システムの開発を目的とする。
• 人間による解釈のボトル neck に起因する高スループット心エコー診断の限界を克服することを目的とする。
• 年齢、性別、身体habitus にわたる多様な実臨床心エコー画像データにおいて、モデルの性能を検証することを目的とする。
• 深層学習が臨床的に重要な画像特徴を同定できることを示すこと。
• 精密医療における自動的でスケーラブルな心エコー解釈の基盤を確立すること。

提案手法

• 834,267枚の匿名化された経胸心エコー（TTE）画像を用いて、267名の患者から得られたデータを用いて、教師あり学習による多層畳み込みニューラルネットワークを訓練した。
• 画像は標準的心エコー画像ビューに従ってラベル付けされ、年齢、性別、肥満状態にわたる臨床的ばらつきをカバーした。
• データの80%を訓練に使用し、残りの20%を未学習の研究に対して検証およびテストに割り当てた。
• モデルは1クリップあたり複数の画像を処理し、12の動画ビューを高精度で分類した。
• オクルージョン実験とサリエンシーマップを用いて、モデルの意思決定を解釈し、臨床的に関連する特徴に依存していることを確認した。
• モデルの堅牢性を評価するために、単一の低解像度画像と複数フレームの動画クリップの両方で評価を行った。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、実臨床画像からの標準的心エコー画像ビューを正確に分類できるか？
• RQ2 単一画像分類において、モデルの性能はボード資格を持つ心エコー専門医と比べてどうか？
• RQ3 心エコー画像ビューを分類する際、モデルは臨床的に関連する画像特徴にどの程度依存しているか？
• RQ4 1つの深層学習モデルが、複数の標準的心エコー画像ビューを高精度に同時に分類できるか？
• RQ5 モデルは、多様な患者のデモグラフィック要因や画像品質の変動にわたって一般化できるか、過学習の兆候は見られないか？

主な発見

• 1クリップあたり複数の画像を用いた場合、モデルは12の動画ビューの分類において全体で97.8%のテスト正確性を達成した。
• 単一の低解像度画像では、15の標準的ビューにおいて91.7%の正確性を達成し、人間専門家（70.2–83.5%）を上回った。
• 混同行列から、モデルは関連するビューを正しくグループ化しており、論理的な分類パターンを示していた。
• オクルージョン実験とサリエンシーマップにより、モデルが心臓構造や視野に属する解剖学的領域に注目していることが確認された。
• 多様な臨床データを大規模に訓練したにもかかわらず、過学習の兆候は見られなかった。
• 結果から、深層学習が標準的心エコー画像ビューを信頼性高く同定できることを示しており、臨床的および研究的現場における自動化を可能にしている。