[論文レビュー] SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks

Patrick Ferdinand Christ, Florian Ettlinger+8 more|arXiv (Cornell University)|Feb 20, 2017

Radiomics and Machine Learning in Medical Imaging参考文献 8被引用数 10

ひとこと要約

本稿では、連鎖的な畳み込みニューラルネットワーク（CFCN）を用いて拡散画像MRI（DW-MRI）における肝細胞癌（HCC）腫瘍を最初にセグメンテーションし、その後3次元畳み込みニューラルネットワーク（SurvivalNet）を用いて患者の生存予測（高リスク対低リスク）を行う、段階的な深層学習フレームワークであるSurvivalNetを提案する。この手法は、手動セグメンテーションで68%、自動セグメンテーションで65%の精度を達成し、ハラリックやヒストограм特徴といった従来の特徴量よりも優れた性能を示した。

ABSTRACT

Automatic non-invasive assessment of hepatocellular carcinoma (HCC) malignancy has the potential to substantially enhance tumor treatment strategies for HCC patients. In this work we present a novel framework to automatically characterize the malignancy of HCC lesions from DWI images. We predict HCC malignancy in two steps: As a first step we automatically segment HCC tumor lesions using cascaded fully convolutional neural networks (CFCN). A 3D neural network (SurvivalNet) then predicts the HCC lesions' malignancy from the HCC tumor segmentation. We formulate this task as a classification problem with classes being "low risk" and "high risk" represented by longer or shorter survival times than the median survival. We evaluated our method on DWI of 31 HCC patients. Our proposed framework achieves an end-to-end accuracy of 65% with a Dice score for the automatic lesion segmentation of 69% and an accuracy of 68% for tumor malignancy classification based on expert annotations. We compared the SurvivalNet to classical handcrafted features such as Histogram and Haralick and show experimentally that SurvivalNet outperforms the handcrafted features in HCC malignancy classification. End-to-end assessment of tumor malignancy based on our proposed fully automatic framework corresponds to assessment based on expert annotations with high significance (p>0.95).

研究の動機と目的

• 手動による腫瘍セグメンテーションに依存せずに、拡散画像MRI（DW-MRI）からHCC患者の生存を完全に自動で予測するフレームワークの開発。
• 従来の手作業によるラジオミクス特徴量（例：ハラリック、ヒストограм）を凌駕する深層学習を活用し、悪性度分類の精度を向上させること。
• 段階的な完全畳み込みネットワーク（CFCN）を用いた自動腫瘍セグメンテーションが、専門家がアノテートしたセグメンテーションと同等の生存予測性能を達成できることを検証すること。
• 3次元CNNベースのアプローチ（SurvivalNet）が、DW-MRIデータにおける全腫瘍ボリュームから予後バイオマーカーを効果的に学習できることを示すこと。
• 臨床的意義を持つエンドツーエンドのパイプラインを確立し、専門家アノテーションと高い一致度（p > 0.95）を示すHCCの非侵襲的悪性度評価を実現すること。

提案手法

• 3次元DW-MRIボリュームにおけるHCC腫瘍病変の自動セグメンテーションを目的とした段階的完全畳み込みネットワーク（CFCN）を訓練し、Diceスコア69.7%を達成した。
• セグメンテーション出力を入力として3次元畳み込みニューラルネットワーク（SurvivalNet）に供給し、生存時間の中央値を基準に「高リスク」（生存期間短）対「低リスク」（生存期間長）に患者を分類する。
• SurvivalNetアーキテクチャは、3×3×3のカーネルと50フィルタを有する3次元畳み込み層の2段階のスタック、それに続く2×2×2の3次元マックスプーリング、およびそれぞれ500ニューロンを有する2つの全結合層から構成される。
• データオーグメンテーションを用いないで、学習率0.5、ρ = 0.95、ε = 1e-8のAdadelta最適化手法を用いて、ネットワークをスクラッチから訓練した。
• 性能評価には、正確性、適合率、再現率、F1スコア、およびセグメンテーションのDice係数を用いた。
• 対応したウィルコクソン符号順位検定を用い、手動セグメンテーションと自動セグメンテーションを用いたSurvivalNetの事後クラス確率を比較した（p > 0.953）。

実験結果

リサーチクエスチョン

• RQ1 DW-MRIからの自動腫瘍セグメンテーションのみを用いて、段階的な深層学習フレームワークが専門家がアノテートしたセグメンテーションと同等の生存予測精度を達成できるか？
• RQ2 3次元畳み込みニューラルネットワーク（SurvivalNet）は、従来の手作業によるラジオミクス特徴量（例：ハラリック、ヒストограм）よりも、HCC患者を高リスク・低リスクに分類する能力が優れているか？
• RQ3 CFCNを用いた自動腫瘍セグメンテーションが、3次元CNNの最終的な生存予測性能にどの程度の影響を及ぼすか？
• RQ4 自動的にセグメンテーションされた腫瘍を用いたSurvivalNetの予測出力が、手動セグメンテーションを用いたものと統計的に区別できないか？
• RQ5 DW-MRIからのエンドツーエンドの深層学習が、専門家評価と比較して、HCC患者の生存予測を高信頼性で的確に可能にするか？

主な発見

• 自動的に生成された腫瘍セグメンテーションを入力としてSurvivalNetを用いたエンドツーエンドの正確性は65%であり、病変セグメンテーションのDiceスコアは69.7%であった。
• 手動セグメンテーションを入力として使用した場合、SurvivalNetは高リスク対低リスク患者の分類において68%の正確性、69%の適合率、68%の再現率を達成した。
• 3次元CNNベースのSurvivalNetは、従来の手作業特徴量を上回った：ハラリック特徴量とヒストограм特徴量のF1スコアはそれぞれ61%および60%にとどまった。
• 対応したウィルコクソン符号順位検定により、自動セグメンテーションを用いたSurvivalNetの予測が、手動セグメンテーションを用いたものと統計的に差がないことが確認された（p > 0.953）。
• クラスプン・マイヤー解析により、SurvivalNetが高リスク群と低リスク群に患者を的確に分類できた一方、手作業特徴量はそのような分類を達成できなかった。
• 本手法は腫瘍検出に対して高い感受性（91.1%）を示したが、適合率は低い（70.0%）ため、肝臓領域に一部の誤検出が生じた。