[论文解读] Multi-Modality Information Fusion for Radiomics-based Neural Architecture Search

Yige Peng, Lei Bi+3 more|arXiv (Cornell University)|Jul 12, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 22被引用 4

一句话总结

本文提出多模态神经架构搜索（MM-NAS），一种自动化的联合搜索方法，用于在PET-CT放射组学中同时优化卷积神经网络架构与融合策略。通过实现端到端、架构无关的PET与CT图像融合，MM-NAS在预测软组织肉瘤患者远处转移时达到0.896的3D AUC，优于无需手工特征工程或人工设计的现有最先进方法。

ABSTRACT

'Radiomics' is a method that extracts mineable quantitative features from radiographic images. These features can then be used to determine prognosis, for example, predicting the development of distant metastases (DM). Existing radiomics methods, however, require complex manual effort including the design of hand-crafted radiomic features and their extraction and selection. Recent radiomics methods, based on convolutional neural networks (CNNs), also require manual input in network architecture design and hyper-parameter tuning. Radiomic complexity is further compounded when there are multiple imaging modalities, for example, combined positron emission tomography - computed tomography (PET-CT) where there is functional information from PET and complementary anatomical localization information from computed tomography (CT). Existing multi-modality radiomics methods manually fuse the data that are extracted separately. Reliance on manual fusion often results in sub-optimal fusion because they are dependent on an 'expert's' understanding of medical images. In this study, we propose a multi-modality neural architecture search method (MM-NAS) to automatically derive optimal multi-modality image features for radiomics and thus negate the dependence on a manual process. We evaluated our MM-NAS on the ability to predict DM using a public PET-CT dataset of patients with soft-tissue sarcomas (STSs). Our results show that our MM-NAS had a higher prediction accuracy when compared to state-of-the-art radiomics methods.

研究动机与目标

• 消除在设计放射组学流程中的人工干预，包括特征工程与网络架构选择。
• 解决现有放射组学方法中多模态融合不理想的问题，这些方法依赖于专家定义的融合策略。
• 开发一种端到端的自动化方法，从PET-CT扫描中学习最优的多模态图像表征。
• 通过深度学习实现软组织肉瘤患者远处转移预测的高精度，同时最大限度减少人为偏差。

提出的方法

• 采用可微分神经架构搜索（NAS）自动发现2D与3D CNN的最优计算单元（正常与降维单元）。
• 设计了一个包含多种操作（如卷积、池化）和连接方式的搜索空间，实现在网络多个阶段对PET与CT特征进行融合。
• 将多模态融合整合到架构搜索过程中，使学习到的融合模块能在训练中自然涌现。
• 采用一次性权重共享策略，在公开的PET-CT STS数据集上通过5折交叉验证高效搜索网络架构。
• 使用标准深度学习训练协议（包括早停与权重衰减）训练并评估最终架构。
• 采用6项指标评估性能：准确率、精确率、F1分数、AUC、敏感度与特异度。

实验结果

研究问题

• RQ1 自动化神经架构搜索框架是否能在从PET-CT扫描预测远处转移方面超越人工或手工设计的放射组学流程？
• RQ2 端到端联合搜索网络架构与融合策略是否优于先顺序提取特征再人工融合的流程？
• RQ3 MM-NAS与使用手工特征或固定架构的最先进放射组学方法相比表现如何？
• RQ4 3D体素建模相较于2D切片建模在预测软组织肉瘤转移潜能方面有何贡献？
• RQ5 在多个网络阶段学习多模态融合是否优于对预提取特征进行后期融合？

主要发现

• 3D MM-NAS达到最高AUC为0.896，优于所有基线方法，包括3DMCL、HC+RF与DLHN。
• 在48例患者的PET-CT数据集上，MM-NAS的准确率为0.896，敏感度为0.917，特异度为0.875，精确率为0.880，F1分数为0.898。
• 3D MM-NAS显著优于2D与3D单模态CNN（如3D PET-CT CNN的AUC为0.773），证明了联合架构与融合搜索的价值。
• MM-NAS在无需任何手工特征工程的情况下，超越了结合手工特征与深度特征的最先进方法3DMCL。
• 该方法表明，网络架构内学习到的融合优于对独立提取的特征进行事后融合。
• 基于PET的模型优于基于CT的模型，凸显了PET对肿瘤生物学的功能敏感性，而MM-NAS的端到端学习进一步增强了这种敏感性。