[论文解读] Benchmarking features from different radiomics toolkits / toolboxes using Image Biomarkers Standardization Initiative

Mingxi Lei, Bino Varghese+7 more|arXiv (Cornell University)|Jun 23, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 59被引用 5

一句话总结

本研究使用已知基准值的数字体模，对六个公开工具包和一个自研流程中的173个IBSI标准化放射组学特征进行了基准测试。研究揭示了不同软件间存在显著的差异，尤其是在形态学特征和灰度离散化方法方面，强调了标准化特征提取工作流程的必要性，以确保放射组学研究的可重复性和泛化能力。

ABSTRACT

There is no consensus regarding the radiomic feature terminology, the underlying mathematics, or their implementation. This creates a scenario where features extracted using different toolboxes could not be used to build or validate the same model leading to a non-generalization of radiomic results. In this study, the image biomarker standardization initiative (IBSI) established phantom and benchmark values were used to compare the variation of the radiomic features while using 6 publicly available software programs and 1 in-house radiomics pipeline. All IBSI-standardized features (11 classes, 173 in total) were extracted. The relative differences between the extracted feature values from the different software and the IBSI benchmark values were calculated to measure the inter-software agreement. To better understand the variations, features are further grouped into 3 categories according to their properties: 1) morphology, 2) statistic/histogram and 3)texture features. While a good agreement was observed for a majority of radiomics features across the various programs, relatively poor agreement was observed for morphology features. Significant differences were also found in programs that use different gray level discretization approaches. Since these programs do not include all IBSI features, the level of quantitative assessment for each category was analyzed using Venn and the UpSet diagrams and also quantified using two ad hoc metrics. Morphology features earns lowest scores for both metrics, indicating that morphological features are not consistently evaluated among software programs. We conclude that radiomic features calculated using different software programs may not be identical and reliable. Further studies are needed to standardize the workflow of radiomic feature extraction.

研究动机与目标

• 评估使用标准化基准时，不同软件在放射组学特征提取中的一致性。
• 识别不同软件工具包和自研流程中放射组学特征变异的来源。
• 评估在IBSI标准化下，形态学、纹理和统计/直方图特征的可靠性。
• 量化不同灰度离散化方法在软件间导致的特征值差异。
• 为标准化放射组学工作流程提供基础，以提高可重复性和模型泛化能力。

提出的方法

• 使用IBSI数字体模（已知真实特征值）作为特征计算的基准。
• 在11个类别中提取全部173个IBSI标准化特征，分为三类：形态学、统计/直方图和纹理特征。
• 计算软件生成值与IBSI基准值之间的相对差异，以衡量不同软件间的一致性。
• 应用Venn图和UpSet图分析不同软件工具之间的特征覆盖范围和重叠情况。
• 引入两种临时指标，以定量评估各类特征实现的完整性和一致性。
• 在所有工具中标准化计算参数（如插值、离散化、邻域设置），以隔离算法差异。

实验结果

研究问题

• RQ1 在使用相同IBSI标准化体模时，不同软件工具包的放射组学特征值一致性如何？
• RQ2 在形态学、纹理和统计/直方图三类特征中，哪类的软件间一致性最高，哪类最低？
• RQ3 灰度离散化方法的差异在多大程度上导致了特征值的变异？
• RQ4 在所评估的软件工具中，IBSI标准化特征的实现完整性如何？
• RQ5 哪些是阻碍放射组学特征提取可重复性和模型泛化的主要变异来源？

主要发现

• 大多数放射组学特征表现出良好的软件间一致性，尤其在纹理和统计/直方图类别中。
• 形态学特征在不同软件间的一致性最差，在两种临时一致性指标中得分最低。
• 在使用固定箱宽（1.0）与固定箱数（6）进行灰度离散化时，不同软件间观察到显著差异。
• 仅27个形态学特征中的29个在所评估工具中实现，其覆盖范围和一致性最低。
• LIFEx、CaPTk和A2实现了最多的IBSI特征（共173个），而Pyradiomics和SERA对某些特征类别的支持有限。
• 即使使用相同的算法参考，GLCM、GLRLM和GLSZM特征的差异源于聚合方法和邻域定义的不同。