[論文レビュー] Spatio-Temporal Convolutional LSTMs for Tumor Growth Prediction by Learning 4D Longitudinal Patient Data

Ling Zhang, Le Lü+5 more|arXiv (Cornell University)|Feb 23, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 41被引用数 8

ひとこと要約

本論文は、4次元縦断的腫瘍画像データ（3次元＋時間）から、3次元空間的文脈と縦断的時間的ダイナミクスを統合的に学習するスパatio-temporal ConvLSTM（ST-ConvLSTM）モデルを提案する。このモデルは、将来の腫瘍体積、細胞密度、CT強度を予測する。33例の膵神経内分泌腫瘍データセットにおいて、相対的体積差（RVD）11.2%、Diceスコア83.2%を達成し、従来のモデルや2次元ベースのディープラーニング手法を著しく上回った。

ABSTRACT

Prognostic tumor growth modeling via volumetric medical imaging observations can potentially lead to better outcomes of tumor treatment and surgical planning. Recent advances of convolutional networks have demonstrated higher accuracy than traditional mathematical models in predicting future tumor volumes. This indicates that deep learning-based techniques may have great potentials on addressing such problem. However, current 2D patch-based modeling approaches cannot make full use of the spatio-temporal imaging context of the tumor's longitudinal 4D (3D + time) data. Moreover, they are incapable to predict clinically-relevant tumor properties, other than volumes. In this paper, we exploit to formulate the tumor growth process through convolutional Long Short-Term Memory (ConvLSTM) that extract tumor's static imaging appearances and capture its temporal dynamic changes within a single network. We extend ConvLSTM into the spatio-temporal domain (ST-ConvLSTM) by jointly learning the inter-slice 3D contexts and the longitudinal or temporal dynamics from multiple patient studies. Our approach can incorporate other non-imaging patient information in an end-to-end trainable manner. Experiments are conducted on the largest 4D longitudinal tumor dataset of 33 patients to date. Results validate that the ST-ConvLSTM produces a Dice score of 83.2%+-5.1% and a RVD of 11.2%+-10.8%, both significantly outperforming (p<0.05) other compared methods of linear model, ConvLSTM, and generative adversarial network (GAN) under the metric of predicting future tumor volumes. Additionally, our new method enables the prediction of both cell density and CT intensity numbers. Last, we demonstrate the generalizability of ST-ConvLSTM by employing it in 4D medical image segmentation task, which achieves an averaged Dice score of 86.3+-1.2% for left-ventricle segmentation in 4D ultrasound with 3 seconds per patient.

研究の動機と目的

• 現在の2次元パッチベース手法が効果的に活用できない、完全な4次元（3次元＋時間）縦断的医療画像データを活用することで、腫瘍成長予測の精度を向上させること。
• 1つのエンドツーエンドトレーニング可能なアーキテクチャ内で、静的な腫瘍形態と動的な時間的進化を両方とも捉えるディープラーニングモデルを開発すること。
• ConvLSTMを空間的・時間的領域に拡張し、スライス間の3次元的文脈と縦断的腫瘍進行を同時にモデル化すること。
• 統一されたフレームワークを用いて、体積以外の臨床的に関連性のある腫瘍特性（例：細胞密度、CT強度）を予測できること。
• 最小限の手動アノテーションで、4次元医療画像セグメンテーションに応用可能な汎用性を実証すること。

提案手法

• ST-ConvLSTMは、標準的なConvLSTMにスライス間の3次元的空間的文脈と、時間点間の時間的ダイナミクスを統合した、1つの再帰的アーキテクチャとして拡張されている。
• モデルは4次元腫瘍画像系列（時間経過に伴う3次元ボリューム）を処理し、スライス内特徴とスライス間の3次元的構造的関係を両方学習する。
• 非画像臨床要因（例：時間間隔、患者固有データ）をエンドツーエンドトレーニング可能な追加入力チャネルとして統合する。
• 空間的詳細を保持し、特徴再構築を向上させるために、スキップ接続を備えたエンコーダ-デコーダ構造を採用する。
• マルチタスクヘッドにより、同じ特徴空間から腫瘍体積、細胞密度、レントゲン密度を同時に予測する。
• 予測された将来の腫瘍状態の再構築誤差を最小化するために、ピxls単位のL2損失関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 4次元画像データから3次元的空間的文脈と時間的ダイナミクスを統合的に学習するディープラーニングモデルは、2次元ベースの手法や従来の数学的モデルに比べ、腫瘍体積予測で優れた性能を示せるか？
• RQ2 提案されたST-ConvLSTMモデルは、腫瘍体積に加え、細胞密度やCT強度といった臨床的に関連性のある性質も予測可能か？
• RQ3 時間間隔の特徴を含めることで、長期にわたる腫瘍成長予測の性能が向上するか？
• RQ4 ST-ConvLSTMは、アノテーションが疎であるような4次元医療画像セグメンテーションタスクにも、どの程度一般化可能か？
• RQ5 特に長期的な時間間隔において、直近の次のステップを超えて腫瘍進行を予測する際、モデルの精度は維持されるか？

主な発見

• ST-ConvLSTMは、将来の腫瘍体積予測において、相対的体積差（RVD）11.2% ± 10.8%、Diceスコア83.2% ± 5.1%を達成し、ベースライン手法を著しく上回った（p < 0.05）。
• モデルは、腫瘍体積に加え、細胞密度とCT強度という追加の性質を同時に予測でき、マルチプロパティ回帰の能力を示した。
• スパースな手動アノテーションのみを用いた4次元左室セグメンテーションでは、平均Diceスコア86.3% ± 1.2%を達成し、セグメンテーションタスクへの強い一般化能力を示した。
• 時間間隔特徴の組み込みは、このデータセットでは性能向上に顕著な寄与を示さなかった。これは、1年間隔が一定で、腫瘍がゆっくり成長するパターンであるためと考えられる。
• 長期予測（例：時刻4）では誤差が高まり（RVD = 37.2%）、短期予測（時刻3でRVD = 15.7%）に比べ、長期予測の困難さが裏付けられた。
• 敵対的学習と残差接続は、ぼやけた予測を軽減し、モデルの頑健性を向上させるための有望な今後の方向性であると特定された。