[论文解读] An automated machine learning framework to optimize radiomics model construction validated on twelve clinical applications

Martijn P. A. Starmans, Sebastian R. van der Voort+44 more|arXiv (Cornell University)|Aug 19, 2021

Sarcoma Diagnosis and Treatment被引用 10

一句话总结

本文提出了一种自动化机器学习框架，通过系统性地评估多种预处理、特征提取和建模流程，全面优化了十二项临床应用中的放射组学工作流构建。该方法实现了具有竞争力的性能——AUC范围为0.45至0.87——优于人工专家启发式方法和基线放射组学方法，同时通过开源软件和数据集确保了可重复性。

ABSTRACT

Predicting clinical outcomes from medical images using quantitative features (``radiomics'') requires many method design choices, Currently, in new clinical applications, finding the optimal radiomics method out of the wide range of methods relies on a manual, heuristic trial-and-error process. We introduce a novel automated framework that optimizes radiomics workflow construction per application by standardizing the radiomics workflow in modular components, including a large collection of algorithms for each component, and formulating a combined algorithm selection and hyperparameter optimization problem. To solve it, we employ automated machine learning through two strategies (random search and Bayesian optimization) and three ensembling approaches. Results show that a medium-sized random search and straight-forward ensembling perform similar to more advanced methods while being more efficient. Validated across twelve clinical applications, our approach outperforms both a radiomics baseline and human experts. Concluding, our framework improves and streamlines radiomics research by fully automatically optimizing radiomics workflow construction. To facilitate reproducibility, we publicly release six datasets, software of the method, and code to reproduce this study.

研究动机与目标

• 解决在新临床应用中放射组学模型开发缺乏可重复性及人工工作量过高的问题。
• 减少对依赖专家经验的启发式试错过程以选择最优放射组学流程的依赖。
• 通过自动化端到端工作流优化过程，简化放射组学生物标志物的发现。
• 通过系统性评估预处理、特征提取和建模技术的多样化组合，提升性能和泛化能力。
• 通过公开发布软件、代码和六个数据集，促进可重复性及临床转化。

提出的方法

• 将放射组学建模为模块化工作流，支持预处理、特征提取和建模组件之间的互换。
• 采用随机搜索策略结合模型集成，以探索并优化放射组学流程的超参数空间。
• 整合了涵盖强度、纹理、形状和小波基特征的完整标准算法库，用于每个工作流组件。
• 使用嵌套交叉验证评估流程性能，防止在超参数搜索过程中发生过拟合。
• 应用自动化特征选择和模型校准，以增强泛化能力和临床可解释性。
• 基于开源工具构建可扩展的软件工作流，实现完全可重复和可扩展的实现。

实验结果

研究问题

• RQ1 自动化机器学习在预测性能和可重复性方面是否优于人工主导的放射组学流程选择？
• RQ2 所提出的框架在放射组学模型优化中与贝叶斯优化及其他先进集成方法相比表现如何？
• RQ3 在完全自动化、模块化的放射组学工作流下，可在多样化的临床应用中实现怎样的性能水平？
• RQ4 该框架在多大程度上减少了在新放射组学应用中对领域专业知识和手动调优的需求？
• RQ5 该框架是否能在异质性影像模态和临床条件下保持稳健性能，实现良好泛化？

主要发现

• 该框架在十二项临床应用中实现了AUC范围为0.45至0.87的性能，其中阿尔茨海默病的AUC最高，达到0.87。
• 在脂肪肉瘤中，该框架实现了0.83的AUC，显示出在软组织肉瘤预测中的强大性能。
• 在腹膜后型纤维组织细胞瘤中，该方法达到了0.82的AUC，表明在罕见纤维增生性肿瘤中具有高预测准确性。
• 该框架优于标准放射组学基线方法，并在性能上匹配或超过贝叶斯优化及先进集成方法。
• 该方法在多种影像类型（CT、MRI、PET）和临床状况（包括癌症、神经退行性疾病和纤维化疾病）中均表现出稳健性。
• 该框架的性能与专家优化的流程相当，显著减少了人工工作量并提升了可重复性。