[論文レビュー] Performance Evaluation of Machine Learning Algorithms in Post-operative Life Expectancy in the Lung Cancer Patients

Kwetishe Joro Danjuma|arXiv (Cornell University)|Apr 17, 2015

Artificial Intelligence in Healthcare参考文献 53被引用数 48

ひとこと要約

本研究では、UCI胸部外科学データセットを用いて、肺がん患者の術後予後予測を目的とした機械学習アルゴリズム—マルチレイヤーパーセプトロン、J48、ナイーブベイズ—の性能を評価した。層別10分割交差検証を用い、マルチレイヤーパーセプトロンが82.3%の最高精度を達成し、J48（81.8%）およびナイーブベイズ（74.4%）を上回った。これは、実臨床データを用いた臨床予後予測モデリングにおいて、マルチレイヤーパーセプトロンの有効性を示している。

ABSTRACT

The nature of clinical data makes it difficult to quickly select, tune and apply machine learning algorithms to clinical prognosis. As a result, a lot of time is spent searching for the most appropriate machine learning algorithms applicable in clinical prognosis that contains either binary-valued or multi-valued attributes. The study set out to identify and evaluate the performance of machine learning classification schemes applied in clinical prognosis of post-operative life expectancy in the lung cancer patients. Multilayer Perceptron, J48, and the Naive Bayes algorithms were used to train and test models on Thoracic Surgery datasets obtained from the University of California Irvine machine learning repository. Stratified 10-fold cross-validation was used to evaluate baseline performance accuracy of the classifiers. The comparative analysis shows that multilayer perceptron performed best with classification accuracy of 82.3%, J48 came out second with classification accuracy of 81.8%, and Naive Bayes came out the worst with classification accuracy of 74.4%. The quality and outcome of the chosen machine learning algorithms depends on the ingenuity of the clinical miner.

研究の動機と目的

• 肺がん患者の術後予後予測に適した機械学習分類アルゴリズムを同定および評価すること。
• マルチレイヤーパーセプトロン、J48、およびナイーブベイズの性能を、実臨床データセット上で比較すること。
• 肺がん手術後の生存予後を予測するための最も精度の高い機械学習モデルを特定すること。
• 教師あり学習手法を用いた腫瘍学分野における臨床データマイニングのパフォーマンスベンチマークを提供すること。

提案手法

• 本研究では、肺がん患者の臨床的特徴を含む、UCI機械学習レポジトリの胸部外科学データセットを用いた。
• マルチレイヤーパーセプトロン、J48、ナイーブベイズの3つの機械学習アルゴリズムを、データセット上で訓練および評価した。
• モデル性能の堅牢かつ偏りのない評価を確保するため、層別10分割交差検証を適用した。
• 分類精度を主な指標として、モデル間の性能を比較した。
• データセットには、バイナリ値およびマルチ値の臨床的属性が含まれており、実臨床データの複雑さを反映している。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習アルゴリズムが肺がん患者の術後予後予測において最も優れた性能を示すか？
• RQ2 マルチレイヤーパーセプトロン、J48、ナイーブベイズは、臨床予後予測タスクにおいて分類精度の観点でどのように比較されるか？
• RQ3 データの複雑さ（バイナリ値およびマルチ値属性）は、臨床予測におけるモデル性能にどの程度影響を与えるか？
• RQ4 機械学習モデルは、実臨床データセットを用いて生存予測タスクで信頼性のある性能を達成できるか？

主な発見

• マルチレイヤーパーセプトロンは、術後予後予測において82.3%の最高分類精度を達成した。
• J48は81.8%の高い性能を示した。
• ナイーブベイズは3つのモデルの中で最も低い精度74.4%を記録した。
• 性能の差は、臨床データマイニングにおけるアルゴリズム選択の重要性を強調している。
• 層別10分割交差検証により、すべてのモデルに対して安定的かつ信頼性のある性能推定が得られた。