[論文レビュー] Predicting Distant Metastases in Soft-Tissue Sarcomas from PET-CT scans using Constrained Hierarchical Multi-Modality Feature Learning

Yige Peng, Lei Bi+4 more|arXiv (Cornell University)|Apr 23, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 27被引用数 5

ひとこと要約

本稿では、PET-CTスキャンを用いて軟部肉腫（STS）患者の遠隔転移（DM）を予測するため、制約付き階層的マルチモodal特徴学習（CHMFL）を備えた3次元畳み込みニューラルネットワーク（3D CNN）を提案する。階層的かつ制約付きの特徴学習により、解剖学的（CT）および代謝的（PET）情報を統合的に活用することで、DM予測に寄与する特徴の検出が向上し、公に利用可能なSTSデータセットにおいて、優れた特異度とAUCを示し、最先端のラジオミクス手法を上回る性能を発揮した。

ABSTRACT

Distant metastases (DM) refer to the dissemination of tumors, usually, beyond the organ where the tumor originated. They are the leading cause of death in patients with soft-tissue sarcomas (STSs). Positron emission tomography-computed tomography (PET-CT) is regarded as the imaging modality of choice for the management of STSs. It is difficult to determine from imaging studies which STS patients will develop metastases. 'Radiomics' refers to the extraction and analysis of quantitative features from medical images and it has been employed to help identify such tumors. The state-of-the-art in radiomics is based on convolutional neural networks (CNNs). Most CNNs are designed for single-modality imaging data (CT or PET alone) and do not exploit the information embedded in PET-CT where there is a combination of an anatomical and functional imaging modality. Furthermore, most radiomic methods rely on manual input from imaging specialists for tumor delineation, definition and selection of radiomic features. This approach, however, may not be scalable to tumors with complex boundaries and where there are multiple other sites of disease. We outline a new 3D CNN to help predict DM in STS patients from PET-CT data. The 3D CNN uses a constrained feature learning module and a hierarchical multi-modality feature learning module that leverages the complementary information from the modalities to focus on semantically important regions. Our results on a public PET-CT dataset of STS patients show that multi-modal information improves the ability to identify those patients who develop DM. Further our method outperformed all other related state-of-the-art methods.

研究の動機と目的

• マルチモダリティPET-CTイメージングを用いて、軟部肉腫（STS）患者の遠隔転移（DM）を予測する深層学習手法を開発すること。
• 従来のラジオミクス手法の限界、すなわち手動による腫瘍セグメンテーションや手作業による特徴工学的設計に依存することを克服すること。
• PET（代謝的）とCT（解剖学的）モダリティからの補完的情報を統合的に活用することで、統一的な3次元深層学習フレームワーク内で、DM予測のための特徴表現を向上させること。
• 意味的に関連する腫瘍領域に注目する制約付き特徴学習モジュールを組み込むことで、過学習を低減し、一般化性能を向上させること。
• 公に利用可能なSTS PET-CTデータセットにおいて、既存の最先端手法を上回る優れた性能を示すこと

提案手法

• PETおよびCTボリュームを共同で処理できる、制約付き階層的マルチモダリティ特徴学習（CHMFL）モジュールを備えた3D CNNベースのアーキテクチャを提案する。
• 背景領域の特徴を抑制することで腫瘍領域に注目する制約付き特徴学習モジュールを導入し、モデルのロバスト性を向上させる。
• 3次元腫瘍ボリューム全体にわたるマルチスケールの空間的および機能的パターンを捉える階層的特徴学習戦略を採用する。
• PET（代謝活性）とCT（解剖学的構造）からの補完的情報を活用し、DM予測のための特徴表現を強化する。
• 二値分類（DM状態）の最適化を目的として、クロスエントロピー損失を用いたエンドツーエンド学習を実施する。
• t-SNE可視化を用いて、ベースライン手法と比較してCHMFLがDMおよび非DM症例間の特徴分離性が向上していることを確認する

実験結果

リサーチクエスチョン

• RQ1 PETおよびCT画像を共同で処理する深層学習モデルは、単一モダリティまたは従来のラジオミクス手法と比較して、軟部肉腫における遠隔転移予測性能を向上させることができるか？
• RQ2 制約付き階層的マルチモダリティ特徴学習の統合により、腫瘍の主なDM予測特徴を同定する能力が向上するか？
• RQ3 提案手法CHMFLは、AUC、特異度、一般化性能の観点から、最先端のラジオミクスおよびCNNベースの手法と比較して、どのように優れているか？
• RQ4 モデルの性能が、PETおよびCTモダリティの補完的情報を統合することに依存している程度はどの程度か？単独のモダリティに比べて顕著に向上するか？
• RQ5 t-SNEを用いた可視化により、CHMFLは既存手法と比較してDMおよび非DM患者間の特徴分離性が向上しているか？

主な発見

• 提案手法CHMFLは、公に利用可能なSTS PET-CTデータセットにおいて、他の比較手法と比較して最高の性能を示し、優れたAUCと特異度を達成した。
• 2D-CNN、単一モダリティ（PETまたはCT）の3D-CNN、およびHC+RF や 3DMCL といった他の最先端手法をすべて上回った。
• 制約付き特徴学習モジュールにより、陽性DM予測への過学習が顕著に低減され、3DMCLと比較して特異度が向上した。
• t-SNE可視化により、CHMFL特徴は3DMCL や 3D-CNN-PET-CT と比較して、DMおよび非DM患者間の分離性が顕著に向上していることが確認された。
• PETベースのモデルがCTベースのモデルを上回ったことから、DM予測において代謝情報の重要性が浮き彫りになった。
• 3D CNNアーキテクチャは2Dアーキテクチャに比べ、腫瘍の形状やサイズをより効果的に捉えるボリュメトリック特徴を提供し、より優れた空間表現を実現した