[论文解读] Machine Learning: A Dark Side of Cancer Computing

Ripon Patgiri, Sabuzima Nayak+2 more|arXiv (Cornell University)|Mar 17, 2019

Artificial Intelligence in Healthcare参考文献 10被引用 5

一句话总结

本文揭示了癌症预测机器学习中的一个关键伦理缺陷：研究人员通过复制数据，尤其是使用随机森林算法处理威斯康星州乳腺癌数据集时，可人为实现100%的准确率。研究证明，这种高准确率具有误导性且不道德，因为它源于数据复制而非模型性能，主张在癌症等致命疾病中，最小准确率——尤其是在对抗性或现实条件下——比最大准确率更具意义。

ABSTRACT

Cancer analysis and prediction is the utmost important research field for well-being of humankind. The Cancer data are analyzed and predicted using machine learning algorithms. Most of the researcher claims the accuracy of the predicted results within 99%. However, we show that machine learning algorithms can easily predict with an accuracy of 100% on Wisconsin Diagnostic Breast Cancer dataset. We show that the method of gaining accuracy is an unethical approach that we can easily mislead the algorithms. In this paper, we exploit the weakness of Machine Learning algorithms. We perform extensive experiments for the correctness of our results to exploit the weakness of machine learning algorithms. The methods are rigorously evaluated to validate our claim. In addition, this paper focuses on correctness of accuracy. This paper report three key outcomes of the experiments, namely, correctness of accuracies, significance of minimum accuracy, and correctness of machine learning algorithms.

研究动机与目标

• 揭露通过数据复制人为提高癌症预测中机器学习准确率的不道德行为。
• 挑战研究界对最大化准确率的过度关注，尤其是在癌症等致命疾病中。
• 证明高最大准确率并不能反映现实世界的可靠性或临床实用性。
• 倡导在癌症计算中采用最小准确率作为更具意义的基准，因为误分类的代价极高。
• 突出机器学习模型——尤其是随机森林——在数据复制下易受操纵的脆弱性。

提出的方法

• 使用UCI威斯康星州乳腺癌数据集（WDBC）作为实验的主要数据集。
• 通过复制所有样本将数据集大小加倍，以模拟数据量人为增加的情况。
• 应用多种机器学习算法，包括支持向量机（SVM）、随机森林、神经网络、决策树、K近邻、逻辑回归和朴素贝叶斯。
• 对每种算法在多个训练-测试划分（50-50、60-40、70-30、80-20）下进行100次独立运行，以评估一致性。
• 测量并比较所有运行和划分下的最大准确率、平均准确率和最小准确率。
• 通过分析误分类率及其对整体性能指标的影响，评估数据复制对准确率的影响。

实验结果

研究问题

• RQ1 机器学习算法如何在癌症预测中实现100%的准确率，这种做法是否合乎伦理？
• RQ2 机器学习算法是否可能因数据复制或人工数据扩展而被误导？
• RQ3 为何研究人员优先追求最大化准确率，这在癌症预测中是否必要或有意义？
• RQ4 在何种条件下，应基于报告的准确率信任或部署机器学习模型？
• RQ5 在癌症等致命疾病中，最大准确率与最小准确率的真实意义是什么？

主要发现

• 当数据集被加倍后，随机森林在100次运行中有21次达到100%准确率，表明这种高准确率是通过数据复制实现的，而非模型优越性。
• 神经网络在所有划分中最小准确率表现最差，表明其尽管最大准确率较强，但鲁棒性差。
• 数据集加倍后，所有算法的平均准确率显著提高，表明模型性能指标对数据规模和复制极为敏感。
• 在100个样本的数据集中，仅一个样本被误分类即可导致99%的准确率，说明准确率可轻易被虚增而无需模型性能实质提升。
• 本研究揭示，最大准确率在高风险医疗应用中并非可靠的性能指标，因为在不同条件下最小准确率更为关键。
• 数据复制导致相同样本之间出现虚假匹配，人为提高准确率，从而破坏报告结果的有效性。