[论文解读] A Rigorous Machine Learning Analysis Pipeline for Biomedical Binary Classification: Application in Pancreatic Cancer Nested Case-control Studies with Implications for Bias Assessments

Ryan J. Urbanowicz, Pranshu Suri+5 more|arXiv (Cornell University)|Aug 28, 2020

AI in cancer detection被引用 6

一句话总结

本文提出了一套严格、可定制的机器学习流水线，用于生物医学二分类任务，强调可重现性、偏差缓解和可解释性。该流水线整合了数据预处理、特征选择、九种机器学习算法的超参数调优以及创新的可视化方法——在胰腺癌嵌套病例对照研究中展示了其有效性，并凸显了ExSTraCS在检测异质性关联方面的优势，尽管其预测性能并非始终处于峰值水平。

ABSTRACT

Machine learning (ML) offers a collection of powerful approaches for detecting and modeling associations, often applied to data having a large number of features and/or complex associations. Currently, there are many tools to facilitate implementing custom ML analyses (e.g. scikit-learn). Interest is also increasing in automated ML packages, which can make it easier for non-experts to apply ML and have the potential to improve model performance. ML permeates most subfields of biomedical research with varying levels of rigor and correct usage. Tremendous opportunities offered by ML are frequently offset by the challenge of assembling comprehensive analysis pipelines, and the ease of ML misuse. In this work we have laid out and assembled a complete, rigorous ML analysis pipeline focused on binary classification (i.e. case/control prediction), and applied this pipeline to both simulated and real world data. At a high level, this 'automated' but customizable pipeline includes a) exploratory analysis, b) data cleaning and transformation, c) feature selection, d) model training with 9 established ML algorithms, each with hyperparameter optimization, and e) thorough evaluation, including appropriate metrics, statistical analyses, and novel visualizations. This pipeline organizes the many subtle complexities of ML pipeline assembly to illustrate best practices to avoid bias and ensure reproducibility. Additionally, this pipeline is the first to compare established ML algorithms to 'ExSTraCS', a rule-based ML algorithm with the unique capability of interpretably modeling heterogeneous patterns of association. While designed to be widely applicable we apply this pipeline to an epidemiological investigation of established and newly identified risk factors for pancreatic cancer to evaluate how different sources of bias might be handled by ML algorithms.

研究动机与目标

• 解决生物医学研究中缺乏标准化、严谨的机器学习流水线的问题，以确保可重现性并减少偏差。
• 开发一个全面、自动化但可定制的流水线，用于复杂、高维生物医学数据的二分类任务。
• 评估多种机器学习算法（包括基于规则的ExSTraCS）在真实和模拟胰腺癌数据集上的性能。
• 评估研究设计偏差（如病例/对照匹配、混杂因素）对机器学习模型结果和特征选择的影响。
• 通过引入创新的可视化方法和集体特征选择，提升机器学习在生物医学研究中的透明度和可解释性。

提出的方法

• 该流水线分为四个阶段：数据预处理与转换、使用多种算法进行集体特征选择、通过自动化超参数优化训练九种成熟机器学习模型，以及事后分析评估。
• 特征选择采用集体方法，整合多种算法的结果，以提高变量重要性估计的稳健性并减少偏差。
• 模型训练包括九种算法（如随机森林、XGBoost、SVM、逻辑回归），并使用Optuna进行贝叶斯超参数优化。
• ExSTraCS作为一种基于规则的学习算法，被整合以检测复杂且异质的关联（如上位效应），提供超越黑箱模型的可解释性。
• 评估采用多种指标（AUC、准确率、F1）、统计检验以及新颖的复合特征重要性条形图（CFIBPs）以实现模型解释。
• 该流水线使用Python实现，设计为可扩展，支持scikit-learn兼容算法及独立算法（如ExSTraCS）。

实验结果

研究问题

• RQ1 与临时性方法相比，所提出的机器学习流水线在生物医学二分类任务中如何提升可重现性并减少偏差？
• RQ2 在具有不同混杂水平和特征复杂度的多种胰腺癌数据集中，不同机器学习算法（包括ExSTraCS）的性能表现如何？
• RQ3 研究设计选择（如病例/对照匹配、饮食变量的纳入）如何影响机器学习模型性能和特征选择结果？
• RQ4 尽管ExSTraCS的预测准确率并非始终最高，它是否能够检测到其他算法所忽略的异质性关联模式？
• RQ5 新颖的可视化方法（如CFIBPs）在提升机器学习驱动的生物医学研究中的可解释性和偏差评估方面发挥何种作用？

主要发现

• 该流水线成功缓解了病例/对照匹配和混杂变量带来的偏差，在所有三个数据集中均确认了已知的胰腺癌危险因素。
• 纳入饮食变量带来了微小但一致的预测优势，尽管最具信息量的因素在不同数据集中有所差异。
• ExSTraCS在所有数据集中未达到最高的AUC，但在多种评估指标和数据集上表现出稳健性能，表明其具有强大的泛化能力。
• 集体特征选择方法提高了稳定性，减少了对单一算法偏差的过度依赖，从而增强了变量重要性排序的可靠性。
• 该流水线揭示了不同机器学习算法在不同数据集上表现最佳，凸显了在模型评估中采用算法多样性的重要性。
• ExSTraCS的可解释性及其建模异质性关联的能力，使其成为机器学习流水线中的宝贵补充，尤其适用于以发现为导向的流行病学研究。