[論文レビュー] A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets

Assaf Shmuel, Oren Glickman+1 more|arXiv (Cornell University)|Aug 27, 2024

Machine Learning and Data Classification被引用数 6

ひとこと要約

この論文は111の表形式データセットを20モデル（DLとML）でベンチマークし、DLが従来のMLを上回るタイミングを特定。MLは一般に優れているが、条件とDLの優位性を86.1%の精度で予測するメタモデルを詳述。

ABSTRACT

The analysis of tabular datasets is highly prevalent both in scientific research and real-world applications of Machine Learning (ML). Unlike many other ML tasks, Deep Learning (DL) models often do not outperform traditional methods in this area. Previous comparative benchmarks have shown that DL performance is frequently equivalent or even inferior to models such as Gradient Boosting Machines (GBMs). In this study, we introduce a comprehensive benchmark aimed at better characterizing the types of datasets where DL models excel. Although several important benchmarks for tabular datasets already exist, our contribution lies in the variety and depth of our comparison: we evaluate 111 datasets with 20 different models, including both regression and classification tasks. These datasets vary in scale and include both those with and without categorical variables. Importantly, our benchmark contains a sufficient number of datasets where DL models perform best, allowing for a thorough analysis of the conditions under which DL models excel. Building on the results of this benchmark, we train a model that predicts scenarios where DL models outperform alternative methods with 86.1% accuracy (AUC 0.78). We present insights derived from this characterization and compare these findings to previous benchmarks.

研究の動機と目的

• 111の表形式データセットに対する回帰と分類タスク全体で、さまざまなMLとDLモデルの性能を評価する。
• DLがMLモデルを上回るデータセットの特徴を特定する。
• DLがMLを超える場合を予測するメタ学習モデルを開発し、表形式データに対するモデル選択を有益なものにする。
• DL対MLの性能に影響を与えるデータセット特徴に関する説明可能な洞察を提供する。

提案手法

• 111の表形式データセットをベンチマーク（57回帰、54分類）。
• 20モデルを評価：7つのDLベース、7つの木構造のアンサンブルMLモデル、6つのその他。
• 回帰はRMSE/MAE/R^2、分類はAccuracy/AUC/F1を計算するために10-foldクロスバリデーションを使用。
• モデルを全体とグループ別にランク付けする（TE/ML 対 DL）。
• 20のメタ特徴でデータセットをプロファイルし、DLとMLのどちらがより良いかを予測するメタラーニングモデルを訓練する（A*）。
• 解釈可能なモデル（ロジスティック回帰と記号回帰）を推定して、DL対MLの予測因子を解釈する。

実験結果

リサーチクエスチョン

• RQ1 表形式データで深層学習モデルが従来のMLモデルを上回るデータセットはどれか？
• RQ2 DLが有利になるデータセット特性（メタ特徴）は何か？
• RQ3 新しい表形式データセットに対してDLがMLを上回る場合を、メタ学習モデルは正確に予測できるか？

主な発見

モデル	グループ	最適数	平均ランク	中央値ランク	トップ3モデルにおける数
AutoGluon	Other	39	4.8	4	58
SVM	Other	10	12.4	14	15
ResNet	DL	7	9.7	10	13
CatBoost	TE	7	6.6	5	35
LightGBM	TE	6	6.9	6	33
H2O-GBM	TE	6	8.6	8	18
TPOT	TE	5	7.7	7	23
AutoGluon-DL	DL	5	8.7	8	21
H2O-DL	DL	4	11.5	11	11
gplearn	Other	3	15	17	7
MLP	DL	3	9.6	10	13
LR	Other	3	11.6	13	16
XGBoost	TE	3	8.4	8	19
Random Forest	TE	3	8.5	8	20
DCNV2	DL	3	11.6	12	10
AdaBoost	TE	1	12.3	13	5
FT-Transformer	DL	0	13.9	14	1
TabNet	DL	0	17.2	18	0

• 111のデータセット全体で、MLモデル、特に木ベースのアンサンブルがDLモデルを一般的に上回る。
• AutoGluon（アンサンブルAutoMLアプローチ）は全体のトップパフォーマンスで、39/111データセットで他を上回る。
• DLモデルはデータセットの少数で最高性能を達成（例：トップDLエントリは11/111）。TabNetは本研究で最悪の性能。
• DLの優位性を予測するメタラーニングモデルは、全メタデータセットで86.1%の精度（AUC 0.78）を達成し、説明可能なベースラインとしてロジスティック回帰（AUC 0.68）を提供。
• 分類タスクは回帰タスクよりもDLの優位性に若干有利。
• データセットの峰度はDLの優位性の重要な予測因子であり、高い峰度はDLの有用性と相関。