[논문 리뷰] A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets

Assaf Shmuel, Oren Glickman외 1명|arXiv (Cornell University)|2024. 08. 27.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 111개의 표 형식 데이터셋에 대해 20개의 모델(DL 및 ML)을 벤치마크하여 DL이 전통적 ML보다 우수한 시점을 식별하고, ML이 일반적으로 우수하다는 점을 밝히며, DL의 이점을 86.1% 정확도로 예측하는 메타모델과 조건을 제시합니다.

ABSTRACT

The analysis of tabular datasets is highly prevalent both in scientific research and real-world applications of Machine Learning (ML). Unlike many other ML tasks, Deep Learning (DL) models often do not outperform traditional methods in this area. Previous comparative benchmarks have shown that DL performance is frequently equivalent or even inferior to models such as Gradient Boosting Machines (GBMs). In this study, we introduce a comprehensive benchmark aimed at better characterizing the types of datasets where DL models excel. Although several important benchmarks for tabular datasets already exist, our contribution lies in the variety and depth of our comparison: we evaluate 111 datasets with 20 different models, including both regression and classification tasks. These datasets vary in scale and include both those with and without categorical variables. Importantly, our benchmark contains a sufficient number of datasets where DL models perform best, allowing for a thorough analysis of the conditions under which DL models excel. Building on the results of this benchmark, we train a model that predicts scenarios where DL models outperform alternative methods with 86.1% accuracy (AUC 0.78). We present insights derived from this characterization and compare these findings to previous benchmarks.

연구 동기 및 목표

• 111개의 표 형식 데이터셋에서 회귀 및 분류 작업 전반에 걸쳐 다양한 ML 및 DL 모델의 성능을 평가한다.
• DL이 ML 모델보다 우수한 데이터셋의 특성을 식별한다.
• DL이 ML보다 성능이 좋을지 예측하는 메타학습 모델을 개발하여 표 형식 데이터에 대한 모델 선택을 돕는다.
• DL과 ML의 성능에 영향을 미치는 데이터셋 특징에 대한 설명 가능 인사이트를 제공한다.

제안 방법

• 111개의 표 형식 데이터셋(11개: 회귀 57개, 분류 54개)을 벤치마크한다.
• 20개의 모델을 평가한다: 7 DL 기반, 7 트리 기반 앙상블 ML 모델, 6개 기타.
• 회귀의 경우 RMSE/MAE/R^2를, 분류의 경우 정확도/AUC/F1을 계산하기 위해 10-fold 교차검증을 사용한다.
• 전체 및 그룹별(TE/ML vs DL)로 모델 순위를 매긴다.
• 데이터셋을 20개의 메타피처로 프로파일링하여 DL 또는 ML 중 어느 쪽이 더 잘 수행되는지 예측하는 메타학습 모델(A*에서 예측))을 학습한다.
• DL vs ML 예측 요인을 해석하기 위한 설명 가능한 모델(로지스틱 회귀 및 기호 회귀)을 추정한다.

실험 결과

연구 질문

• RQ1 DL 모델이 표 형식 데이터에서 전통적인 ML 모델을 능가하는 데이터셋은 어디인가?
• RQ2 DL이 유리한 것으로 연관된 데이터셋 특성(메타피처)은 무엇인가?
• RQ3 새로운 표 형식 데이터셋에서 DL이 ML보다 우수하다는 것을 메타학습 모델이 정확하게 예측할 수 있는가?

주요 결과

모델	그룹	# 최적	평균 순위	중간 순위	# 상위 3개 모델에 포함된 수
AutoGluon	Other	39	4.8	4	58
SVM	Other	10	12.4	14	15
ResNet	DL	7	9.7	10	13
CatBoost	TE	7	6.6	5	35
LightGBM	TE	6	6.9	6	33
H2O-GBM	TE	6	8.6	8	18
TPOT	TE	5	7.7	7	23
AutoGluon-DL	DL	5	8.7	8	21
H2O-DL	DL	4	11.5	11	11
gplearn	Other	3	15	17	7
MLP	DL	3	9.6	10	13
LR	Other	3	11.6	13	16
XGBoost	TE	3	8.4	8	19
Random Forest	TE	3	8.5	8	20
DCNV2	DL	3	11.6	12	10
AdaBoost	TE	1	12.3	13	5
FT-Transformer	DL	0	13.9	14	1
TabNet	DL	0	17.2	18	0

• ML 모델은 특히 트리 기반 앙상블에서 표 형식 데이터에 대해 111개 데이터셋 전반에 걸쳐 일반적으로 DL 모델보다 우수하다.
• AutoGluon(앙상블 AutoML 접근법)은 전체 최상위 모델로서 39/111 데이터셋에서 타 모델보다 우수하다.
• DL 모델은 데이터셋의 소수에서 최고의 성능을 보이며(예: 상위 DL 항목의 11/111), 이 연구에서 TabNet은 최저 성능을 보였다.
• DL 이점을 예측하는 메타학습 모델이 전체 메타데이터셋에서 86.1%의 정확도(AUC 0.78)를 달성하며, 설명 가능한 기준선으로 로지스틱 회귀(AUC 0.68)를 제공한다.
• 분류 작업은 DL 이점이 회귀 작업보다 DL의 우위를 약간 더 선호하는 경향이 있다.
• 데이터셋의 첨도(kurtosis)가 DL 이점의 중요한 예측 변수이며, 높은 첨도가 DL 활용도를 높이는 경향이 있다.