[论文解读] Predicting Distant Metastases in Soft-Tissue Sarcomas from PET-CT scans using Constrained Hierarchical Multi-Modality Feature Learning

Yige Peng, Lei Bi+4 more|arXiv (Cornell University)|Apr 23, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 27被引用 5

一句话总结

本文提出一种具有约束性分层多模态特征学习（CHMFL）的3D卷积神经网络，通过联合利用PET-CT扫描中的解剖结构（CT）和代谢信息（PET），以预测软组织肉瘤（STS）患者的远处转移（DM）。通过在分层、受约束的特征学习框架下联合利用解剖与代谢信息，该方法提升了对DM预测特征的检测能力，在公开的STS数据集上优于当前最先进的放射组学方法，表现出更高的特异性与AUC值。

ABSTRACT

Distant metastases (DM) refer to the dissemination of tumors, usually, beyond the organ where the tumor originated. They are the leading cause of death in patients with soft-tissue sarcomas (STSs). Positron emission tomography-computed tomography (PET-CT) is regarded as the imaging modality of choice for the management of STSs. It is difficult to determine from imaging studies which STS patients will develop metastases. 'Radiomics' refers to the extraction and analysis of quantitative features from medical images and it has been employed to help identify such tumors. The state-of-the-art in radiomics is based on convolutional neural networks (CNNs). Most CNNs are designed for single-modality imaging data (CT or PET alone) and do not exploit the information embedded in PET-CT where there is a combination of an anatomical and functional imaging modality. Furthermore, most radiomic methods rely on manual input from imaging specialists for tumor delineation, definition and selection of radiomic features. This approach, however, may not be scalable to tumors with complex boundaries and where there are multiple other sites of disease. We outline a new 3D CNN to help predict DM in STS patients from PET-CT data. The 3D CNN uses a constrained feature learning module and a hierarchical multi-modality feature learning module that leverages the complementary information from the modalities to focus on semantically important regions. Our results on a public PET-CT dataset of STS patients show that multi-modal information improves the ability to identify those patients who develop DM. Further our method outperformed all other related state-of-the-art methods.

研究动机与目标

• 开发一种基于多模态PET-CT影像的深度学习方法，用于预测软组织肉瘤（STS）患者的远处转移（DM）。
• 克服传统放射组学的局限性，包括对人工肿瘤分割的依赖以及手工设计特征工程的依赖。
• 通过在统一的3D深度学习框架中整合PET（代谢）与CT（解剖）模态的互补信息，提升预测性能。
• 通过引入受约束的特征学习模块，聚焦于语义相关的肿瘤区域，从而减少过拟合并提升泛化能力。
• 在公开的STS PET-CT数据集上，证明该方法优于现有最先进方法。

提出的方法

• 提出一种基于3D CNN的网络架构，其中嵌入了受约束的分层多模态特征学习（CHMFL）模块，用于联合处理PET与CT影像体积。
• 引入一种受约束的特征学习模块，通过抑制无关背景特征来强制模型关注肿瘤区域，从而提升模型鲁棒性。
• 采用分层特征学习策略，以捕捉3D肿瘤体积中多尺度的空间与功能模式。
• 利用PET（代谢活性）与CT（解剖结构）之间的互补信息，增强DM预测的特征表示能力。
• 采用端到端训练方式，使用交叉熵损失函数优化模型，实现DM状态的二分类任务。
• 应用t-SNE可视化方法，以证明与基线方法相比，CHMFL方法在DM与非DM病例之间具有更优的特征可分性。

实验结果

研究问题

• RQ1 与单模态或传统放射组学方法相比，一种能够联合处理PET与CT影像的深度学习模型，是否能提升对软组织肉瘤患者远处转移的预测能力？
• RQ2 受约束的分层多模态特征学习的整合，是否能增强模型识别原发肿瘤中DM预测特征的能力？
• RQ3 在AUC、特异性和泛化能力方面，所提出的CHMFL方法相较于现有最先进放射组学与CNN方法表现如何？
• RQ4 模型性能在多大程度上依赖于PET与CT模态之间的互补信息，而非单一模态？
• RQ5 与现有方法相比，模型是否能在t-SNE可视化中实现更好的DM与非DM患者之间的特征可分性？

主要发现

• 所提出的CHMFL方法在公开的STS PET-CT数据集中所有对比方法中表现最优，展现出更高的AUC与特异性。
• 该方法优于2D-CNN、单模态3D-CNN（PET或CT）以及其他最先进方法（包括HC+RF与3DMCL）。
• 受约束的特征学习模块显著降低了对阳性DM预测的过拟合，相比3DMCL，特异性得到提升。
• t-SNE可视化结果证实，CHMFL特征在DM与非DM患者之间的可分性优于3DMCL或3D-CNN-PET-CT。
• 基于PET的模型表现优于基于CT的模型，凸显了代谢信息在DM预测中的重要性。
• 3D CNN架构相比2D方法提供了更优的空间表征能力，因其能更有效地捕捉肿瘤的形态与大小特征。