[论文解读] Data-driven Advice for Applying Machine Learning to Bioinformatics Problems

Randal S. Olson, William La Cava+3 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Data Classification被引用 8

一句话总结

本文通过在165个标准化分类数据集上对13种最先进的算法进行全面超参数优化，提供了面向生物信息学中机器学习算法选择与调优的数据驱动建议。其核心贡献是一组表现最佳的五种算法及其特定超参数设置，可在最大化覆盖范围和预测准确率方面发挥优势，为研究人员在生物医学数据分析中面临算法选择挑战时提供实用的起点。

ABSTRACT

As the bioinformatics field grows, it must keep pace not only with new data but with new algorithms. Here we contribute a thorough analysis of 13 state-of-the-art, commonly used machine learning algorithms on a set of 165 publicly available classification problems in order to provide data-driven algorithm recommendations to current researchers. We present a number of statistical and visual comparisons of algorithm performance and quantify the effect of model selection and algorithm tuning for each algorithm and dataset. The analysis culminates in the recommendation of five algorithms with hyperparameters that maximize classifier performance across the tested problems, as well as general guidelines for applying machine learning to supervised classification problems.

研究动机与目标

• 为解决生物信息学中算法选择过多的问题，提供基于证据的机器学习（ML）算法推荐。
• 评估13种流行的scikit-learn机器学习算法在165个标准化生物信息学与生物医学分类问题上的表现。
• 量化超参数调优对模型性能的影响，并识别出最有效的算法及其配置。
• 为研究人员在新生物医学数据集上应用机器学习时，提供一个实用且数据驱动的起点，减少对试错选择的依赖。
• 通过分析性能与模型透明度之间的权衡，同时支持预测准确性和可解释性。

提出的方法

• 评估了scikit-learn中的13种监督分类算法，包括朴素贝叶斯、线性模型、树形模型、集成方法和基于核的分类器。
• 在每个数据集上通过网格搜索结合10折交叉验证进行完整的超参数调优，以最大化每种算法的性能。
• 使用平衡准确率作为主要评估指标，以考虑来自宾夕法尼亚机器学习基准（PMLB）的165个数据集中存在的类别不平衡问题。
• 将所有数据集标准化为统一格式，并仅使用PMLB中公开可用且经过良好整理的问题，以确保可复现性和广泛的相关性。
• 基于算法在不同数据集上的性能相似性进行聚类，以识别算法行为和鲁棒性的模式。
• 基于算法对数据集的综合覆盖范围和顶尖性能，结合专家提供的超参数范围生成推荐。

实验结果

研究问题

• RQ1 在广泛的生物信息学分类问题中，哪些机器学习算法能实现最高的预测性能？
• RQ2 超参数调优对每种算法的性能提升有多大，且这种提升在不同数据集上是否一致？
• RQ3 某些算法族（如基于树的集成方法）是否在多样化的生物医学数据集中始终优于其他算法？
• RQ4 一组少量的算法-超参数组合能否作为新生物信息学项目的可靠起点？
• RQ5 在生物医学研究背景下，算法性能与可解释性之间的权衡如何影响模型选择？

主要发现

• GradientBoostingClassifier 在 loss='deviance'、learning_rate=0.1、n_estimators=500、max_depth=3 和 max_features='log2' 的配置下，覆盖范围最广，在165个数据集中的51个上表现良好。
• RandomForestClassifier 在 n_estimators=500、max_features=0.25 和 criterion='entropy' 的配置下，有效覆盖了19个数据集，表现出在中等复杂度问题上的强大性能。
• SVC 在 C=0.01、gamma=0.1、kernel='poly'、degree=3 和 coef0=10.0 的配置下，在16个数据集上达到顶尖性能，尤其适用于具有复杂非线性决策边界的任务。
• ExtraTreesClassifier 在 n_estimators=1000、max_features='log2' 和 criterion='entropy' 的配置下，覆盖了12个数据集，表现出对过拟合的强鲁棒性和优异的泛化能力。
• LogisticRegression 在 C=1.5、penalty='l1' 和 fit_intercept=True 的配置下，覆盖了8个数据集，为线性可分问题提供了可解释性与中等性能之间的良好平衡。
• 本研究证实，超参数调优显著提升了几乎所有算法的性能，部分数据集的平衡准确率提升甚至超过10%。