[論文レビュー] Machine Learning: A Dark Side of Cancer Computing

Ripon Patgiri, Sabuzima Nayak+2 more|arXiv (Cornell University)|Mar 17, 2019

Artificial Intelligence in Healthcare参考文献 10被引用数 5

ひとこと要約

この論文は、がん予測における機械学習における深刻な倫理的欠陥を暴露している：研究者がデータを複製することで、特にウィ sclerosisがんデータセットを用いたランダムフォレストにおいて、100％の正確さを人工的に達成できる。この研究は、そのような高い正確さがモデルの性能ではなくデータ複製に起因するため、誤解を招くものであり、がんのような生命を脅かす疾患では、最大正確さよりも最小正確さがより意味を持つべきであると主張している。

ABSTRACT

Cancer analysis and prediction is the utmost important research field for well-being of humankind. The Cancer data are analyzed and predicted using machine learning algorithms. Most of the researcher claims the accuracy of the predicted results within 99%. However, we show that machine learning algorithms can easily predict with an accuracy of 100% on Wisconsin Diagnostic Breast Cancer dataset. We show that the method of gaining accuracy is an unethical approach that we can easily mislead the algorithms. In this paper, we exploit the weakness of Machine Learning algorithms. We perform extensive experiments for the correctness of our results to exploit the weakness of machine learning algorithms. The methods are rigorously evaluated to validate our claim. In addition, this paper focuses on correctness of accuracy. This paper report three key outcomes of the experiments, namely, correctness of accuracies, significance of minimum accuracy, and correctness of machine learning algorithms.

研究の動機と目的

• がん予測における機械学習の正確さをデータ複製によって意図的に高めるという倫理的に問題のある実践を暴露すること。
• 特にがんのような生命を脅かす疾患において、正確さの最大化に過剰に注目する研究コミュニティの傾向に挑戦すること。
• 高い最大正確さが、現実世界の信頼性や臨床的有用性を反映していないことを示すこと。
• 誤診の重大性が極めて高いがん予測の文脈において、最小正確さをより意味のあるベンチマークとするべきだと提唱すること。
• 特にランダムフォレストを含む機械学習モデルが、データ複製によってどのように操作可能であるかを強調すること。

提案手法

• 実験の主なデータセットとして、UCIウィスコンシンがんデータセット（WDBC）を用いた。
• すべてのサンプルを複製することでデータセットを2倍にし、人工的にデータサイズを拡大するシナリオを再現した。
• SVM、ランダムフォレスト、ニューラルネットワーク、決定木、K近傍法、ロジスティック回帰、ナイーブベイズを含む複数の機械学習アルゴリズムを適用した。
• 50-50、60-40、70-30、80-20の複数のトレイン・テスト分割を用い、各アルゴリズムについて100回の独立した実行を実施し、一貫性を評価した。
• すべての実行と分割において、最大正確さ、平均正確さ、最小正確さを測定・比較した。
• 誤分類率の分析を通じて、データ複製が正確さに与える影響と、全体的な性能指標への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 機械学習アルゴリズムは、がん予測でどのように100％の正確さを達成できるのか。このアプローチは倫理的であると言えるか。
• RQ2 データ複製や人工的なデータ拡張によって、機械学習アルゴリズムはだまされる可能性があるか。
• RQ3 なぜ研究者は正確さの最大化を優先するのか。がん予測において、これは必要であるか、意味のあることなのか。
• RQ4 報告された正確さに基づいて、機械学習モデルをどの条件下で信頼したり、導入すべきなのか。
• RQ5 生命を脅かす疾患、特にがんである場合、最大正確さと最小正確さの真の意味は何か。

主な発見

• ランダムフォレストは、データセットを2倍にした場合、100回の実行のうち21回で100％の正確さを達成しており、これはモデルの優位性ではなくデータ複製に起因する高い正確さが達成可能であることを示している。
• ニューラルネットワークは、すべての分割において最小正確さが最も低く、最大正確さの高さとは対照的に、脆弱性が顕著に現れている。
• データセットを2倍にした後、すべてのアルゴリズムの平均正確さが顕著に向上した。これは、モデルの性能指標がデータサイズや複製に極めて敏感であることを示している。
• 100件のデータセットで1件の誤分類が生じるだけで99％の正確さが得られる。これは、意味のあるモデル改善なしに正確さが容易に上昇させられることを示しており、危険である。
• この研究は、最大正確さが、誤診の重大性が高い医療アプリケーションでは信頼できるモデル性能の指標ではないことを明らかにしている。特に、変動する条件下での最小正確さがより重要である。
• データ複製は、同一のサンプル同士の誤った一致を生じさせ、正確さを不正に上昇させ、報告された結果の妥当性を損なう。