[論文レビュー] Gradient Boosting Decision Trees on Medical Diagnosis over Tabular Data

Aytaç Yıldız, Arzu Kalaycı|arXiv (Cornell University)|Sep 25, 2024

Artificial Intelligence in Healthcare被引用数 6

ひとこと要約

本論文は経験的に、Gradient Boosting Decision Trees（LightGBM、XGBoost、CatBoost）が従来のMLおよび表形式DLモデルを7つの医療表データセット全体で上回ることを示しており、トレーニング時間も好条件である。

ABSTRACT

Medical diagnosis is a crucial task in the medical field, in terms of providing accurate classification and respective treatments. Having near-precise decisions based on correct diagnosis can affect a patient's life itself, and may extremely result in a catastrophe if not classified correctly. Several traditional machine learning (ML), such as support vector machines (SVMs) and logistic regression, and state-of-the-art tabular deep learning (DL) methods, including TabNet and TabTransformer, have been proposed and used over tabular medical datasets. Additionally, due to the superior performances, lower computational costs, and easier optimization over different tasks, ensemble methods have been used in the field more recently. They offer a powerful alternative in terms of providing successful medical decision-making processes in several diagnosis tasks. In this study, we investigated the benefits of ensemble methods, especially the Gradient Boosting Decision Tree (GBDT) algorithms in medical classification tasks over tabular data, focusing on XGBoost, CatBoost, and LightGBM. The experiments demonstrate that GBDT methods outperform traditional ML and deep neural network architectures and have the highest average rank over several benchmark tabular medical diagnosis datasets. Furthermore, they require much less computational power compared to DL models, creating the optimal methodology in terms of high performance and lower complexity.

研究の動機と目的

• 多様な表形式医療診断データセットに対するGBDTモデル（XGBoost、LightGBM、CatBoost）の性能を評価する。
• GBDTを従来のMLおよび最先端の表形式DLモデルと比較する。
• 実践的な臨床適用のためのトレーニング時間と性能のトレードオフを分析する。
• データセットのサイズと特性に基づいて医療用表形式データのモデル選択に関する指針を提供する。

提案手法

• カテゴリカル変数には序数エンコードを用いて前処理し、数値特徴を標準化する。
• 5つの従来MLモデル、5つのDLモデル、および4つのアンサンブルモデル（3つのGBDT）をROC AUCを指標として評価する。
• 8分割の層化交差検証を実施して汎化性能を評価する。
• ハイパーパラメータ最適化: 各モデルについてfolds間の平均ROC AUCに基づき約36通りの組み合わせを評価する。
• 性能と平均トレーニング時間の観点でモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 GBDTモデルは多様な医療データセット全体で従来のMLおよび表形式DLモデルより高いROC AUCを達成するか？
• RQ2 性能とトレーニング時間のトレードオフにおいて、どのGBDT実装（XGBoost、LightGBM、CatBoost）が最良のバランスを提供するか？
• RQ3 医療表形式データにおいてデータセットサイズと特徴次元数がモデル性能にどのように影響するか？
• RQ4 精度と効率性に基づく臨床意思決定支援でのモデル選択の実践的影響は何か？

主な発見

モデル	CD	Heart Failure	Parkinsons	EEG Eye State	Eye Movements	Arcene	Prostate	平均ランク
SVM	78.715 ± 0.005	86.389 ± 0.048	88.791 ± 0.068	70.752 ± 0.013	78.405 ± 0.007	87.094 ± 0.043	91.419 ± 0.096	9.857
Logistic Reg.	78.435 ± 0.005	87.571 ± 0.051	90.875 ± 0.041	61.125 ± 0.014	71.180 ± 0.009	95.211 ± 0.031	95.089 ± 0.065	8.143
KNN	69.611 ± 0.006	77.529 ± 0.067	96.857 ± 0.023	91.185 ± 0.005	72.448 ± 0.009	90.869 ± 0.065	87.822 ± 0.112	9.857
Random Forest	77.464 ± 0.005	91.233 ± 0.038	96.068 ± 0.033	98.404 ± 0.002	87.234 ± 0.007	91.153 ± 0.034	93.155 ± 0.078	6.000
Decision Tree	63.325 ± 0.006	71.646 ± 0.051	81.287 ± 0.060	83.781 ± 0.008	70.951 ± 0.009	72.037 ± 0.116	80.357 ± 0.106	12.714
LDA	70.363 ± 0.005	87.896 ± 0.053	88.609 ± 0.060	67.130 ± 0.014	71.273 ± 0.010	69.927 ± 0.124	93.849 ± 0.060	10.571
MLP [60]	80.090 ± 0.005	87.288 ± 0.056	97.186 ± 0.022	95.513 ± 0.006	73.397 ± 0.015	93.669 ± 0.042	89.881 ± 0.108	6.429
STG [37]	79.667 ± 0.004	86.241 ± 0.058	95.352 ± 0.038	84.854 ± 0.011	80.780 ± 0.006	90.584 ± 0.062	94.048 ± 0.094	7.857
TabNet [9]	77.757 ± 0.004	93.319 ± 0.037	99.446 ± 0.012	62.441 ± 0.040	87.673 ± 0.008	87.662 ± 0.098	66.865 ± 0.205	7.429
TabTransformer [36]	71.327 ± 0.123	87.642 ± 0.069	96.625 ± 0.027	79.646 ± 0.039	70.534 ± 0.010	94.724 ± 0.051	92.956 ± 0.107	8.571
VIME [38]	78.882 ± 0.004	85.758 ± 0.047	98.532 ± 0.016	92.473 ± 0.005	81.918 ± 0.008	91.721 ± 0.070	52.679 ± 0.164	7.429
XGBoost [49]	79.745 ± 0.004	90.478 ± 0.025	97.265 ± 0.023	98.331 ± 0.002	89.675 ± 0.008	89.123 ± 0.047	94.940 ± 0.055	4.429
LightGBM [50]	80.296 ± 0.004	91.490 ± 0.027	98.623 ± 0.015	97.008 ± 0.004	89.059 ± 0.007	91.883 ± 0.043	95.486 ± 0.052	2.571
CatBoost [51]	80.378 ± 0.004	91.056 ± 0.034	97.740 ± 0.014	97.739 ± 0.003	88.954 ± 0.006	91.396 ± 0.040	96.379 ± 0.053	3.143

• GBDTモデルは7データセットすべてにおいて、従来のMLおよび最先端の表形式DLモデルを一貫して上回る。
• LightGBMは評価されたモデルの中で最も良い平均ROC AUCと有利なトレーニング時間を示すことが多い。
• 平均すると、GBDTはDLアーキテクチャと比較して計算コストを抑えつつ高い性能を提供する。
• モデル間で最高性能のGBDT変種はデータセットによって異なるが、LightGBMは頻繁に高排名し全体的に良好な指標を示す。
• DLモデルはモデルの複雑さによりトレーニング時間が長くなる傾向があり、GBDTは精度と効率のバランスを取る。