[論文レビュー] Hybrid deep neural networks for all-cause Mortality Prediction from LDCT Images

Pingkun Yan, Hengtao Guo+3 more|arXiv (Cornell University)|Oct 19, 2018

COVID-19 diagnosis using AI参考文献 8被引用数 5

ひとこと要約

本稿では、低線量CT（LDCT）画像パッチと放射線科医が評価した冠動脈石灰化（CAC）リスクスコアを組み合わせたハイブリッドディープニューラルネットワーク、HyRiskNetを提案する。深層特徴と臨床的関連性のある画像マーカーを統合することで、HyRiskNetはAUC 0.75を達成し、画像のみまたは従来のスコアリング手法のみを用いたモデルを著しく上回る性能を発揮した。

ABSTRACT

Known for its high morbidity and mortality rates, lung cancer poses a significant threat to human health and well-being. However, the same population is also at high risk for other deadly diseases, such as cardiovascular disease. Since Low-Dose CT (LDCT) has been shown to significantly improve the lung cancer diagnosis accuracy, it will be very useful for clinical practice to predict the all-cause mortality for lung cancer patients to take corresponding actions. In this paper, we propose a deep learning based method, which takes both chest LDCT image patches and coronary artery calcification risk scores as input, for direct prediction of mortality risk of lung cancer subjects. The proposed method is called Hybrid Risk Network (HyRiskNet) for mortality risk prediction, which is an end-to-end framework utilizing hybrid imaging features, instead of completely relying on automatic feature extraction. Our work demonstrates the feasibility of using deep learning techniques for all-cause lung cancer mortality prediction from chest LDCT images. The experimental results show that the proposed HyRiskNet can achieve superior performance compared with the neural networks with only image input and with other traditional semi-automatic scoring methods. The study also indicates that radiologist defined features can well complement convolutional neural networks for more comprehensive feature extraction.

研究の動機と目的

• LDCTスキャンを用いて肺がん患者の全死亡リスクを予測するディープラーニングフレームワークの開発。
• 畳み込みニューラルネットワーク（CNN）が抽出した特徴と放射線科医が定義したCACリスクスコアを統合し、予測性能を向上させる。
• ハイブリッドモデリングが画像のみまたはスコアのみのアプローチを上回るかどうかを、死亡リスク評価において評価する。
• ネットワークの深さと入力モodal が予測性能に与える影響を調査する。

提案手法

• 提案されたHyRiskNetは、LDCT画像パッチから高レベルの画像特徴を抽出するために、ディープ残差ニューラルネットワーク（ResNet）アーキテクチャを用いる。
• 放射線科医が評価したCACスコアは、CNNが抽出した表現を補完する追加の入力特徴として統合される。
• モデルは、画像パッチとCACリスクスコアのハイブリッド入力を用いてエンドツーエンドに訓練され、直接的に死亡リスクを予測する。
• 性能の最適化を図るため、複数のResNetバージョン（18, 34, 50, 101, 152層）が評価される。
• モデルのロバスト性を評価するために10分割交差検証が用いられ、主評価指標としてAUCが使用される。
• 従来の方法（Agatstonスコア、ボリュームスコア、放射線科医による視覚的検査）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 CNNが抽出した特徴と放射線科医が定義したCACスコアを組み合わせたハイブリッドディープラーニングモデルは、肺がん患者の全死亡リスク予測を向上させることができるか？
• RQ2 CACスコアの組み込みが、CNNベースの死亡リスク予測モデルの性能にどのように影響を与えるか？
• RQ3 ハイブリッドモデルの性能は、異なるネットワークの深さによって変化するか？
• RQ4 本モデルの性能は、従来の半自動的および手動スコアリング手法と比較してどうなるか？

主な発見

• HyRiskNet-34は最高のAUC 0.75を達成し、RiskNet-34（AUC 0.70）および放射線科医による視覚的検査（AUC 0.64）を著しく上回った。
• CACスコアの追加により、すべてのResNet深さにおいて予測性能が向上し、同じ深さのHyRiskNetは常にRiskNetを上回った。
• 34層のResNetアーキテクチャが、すべてのテスト深さの中で最高の性能を示し、データサイズに適した表現能力と一般化性能のバランスが取れていると考えられた。
• 放射線科医が評価したCACスコアは、Agatstonスコア（AUC 0.71）よりも優れたモデル性能（AUC 0.75）をもたらした。これは、人間の解釈が自動定量化を超えた臨床的関連特徴を捉えていることを示唆している。
• ハイブリッドモデルは、放射線科医による視覚的検査よりも17.2%、画像のみのCNN（RiskNet）よりも7.1%の性能向上を達成し、専門知識とディープラーニングを組み合わせることの価値を示した。
• 従来の半自動スコアリング手法（Agatstonスコア、ボリュームスコア、ボリュームの平方根スコア）はAUC 0.61–0.62を示し、やや低い予測力であることが示された。