[논문 리뷰] Revisiting Deep Learning Models for Tabular Data

Yury Gorishniy, Ivan Rubachev외 2명|arXiv (Cornell University)|2021. 06. 22.

Advanced Neural Network Applications참고 문헌 60인용 수 115

한 줄 요약

이 논문은 표 형식 데이터에 대한 딥러닝 모델의 공정하고 대규모 비교를 제시하고, 두 가지 강력한 베이스라인(ResNet-유사 및 FT-Transformer)을 도입하며, FT-Transformer가 자주 승리하는 반면 어떤 모델도 보편적으로 GBDT(Gradient Boosted Decision Trees)를 능가하지는 못한다는 점을 보여준다.

ABSTRACT

The existing literature on deep learning for tabular data proposes a wide range of novel architectures and reports competitive results on various datasets. However, the proposed models are usually not properly compared to each other and existing works often use different benchmarks and experiment protocols. As a result, it is unclear for both researchers and practitioners what models perform best. Additionally, the field still lacks effective baselines, that is, the easy-to-use models that provide competitive performance across different problems. In this work, we perform an overview of the main families of DL architectures for tabular data and raise the bar of baselines in tabular DL by identifying two simple and powerful deep architectures. The first one is a ResNet-like architecture which turns out to be a strong baseline that is often missing in prior works. The second model is our simple adaptation of the Transformer architecture for tabular data, which outperforms other solutions on most tasks. Both models are compared to many existing architectures on a diverse set of tasks under the same training and tuning protocols. We also compare the best DL models with Gradient Boosted Decision Trees and conclude that there is still no universally superior solution.

연구 동기 및 목표

• 일관된 학습 및 하이퍼파라미터 튜닝 프로토콜하에 표 형식 데이터에 대한 대표적인 딥러닝 아키텍처를 평가한다.
• 다양한 표 형식 작업에서 일관되게 성능이 좋은 간단하고 강력한 베이스라인을 식별한다.
• 딥러닝 모델이 보편적으로 GBDT를 능가할 수 있는지 평가하고, 어떤 영역에서 잘 수행하는지 혹은 실패하는지 파악한다.
• 향후 표 형식 DL 연구를 위한 모델 선택과 베이스라인에 대한 실용적 지침을 제공한다.

제안 방법

• 일반적 전처리 및 학습 프로토콜을 사용하여 표 형식 데이터용 주요 DL 아키텍처를 검토하고 재구현한다.
• 두 가지 간단한 베이스라인을 제안한다: ResNet-유사 아키텍처와 표 형식 데이터에 적합한 FT-Transformer(Transformer를 표 형식 데이터에 맞게 개조한 것).
• 일관된 학습/검증/테스트 분할을 갖춘 11개의 공개 표 형식 데이터셋에 대해 대규모 실험을 수행한다.
• Optuna로 하이퍼파라미터를 조정하고 단일 모델과 앙상블을 비교한다.
• 기본 및 튜닝된 하이퍼파라미터 하에서 딥모델과 GBDT(XGBoost, CatBoost)를 비교한다.
• FT-Transformer가 ResNet보다 더 잘 수행하는 시점을 분석하고 작업 전반에서의 일반성/보편성을 연구한다.

실험 결과

연구 질문

• RQ1 일관된 프로토콜 하에서 표 형식 데이터에 대해 가장 높은 성능을 제공하는 딥러닝 아키텍처는 무엇인가?
• RQ2 간단한 베이스라인(ResNet-유사 및 FT-Transformer)이 다양한 작업에서 강력하고 신뢰할 만한 성능을 제공하는가?
• RQ3 표 형식 문제에서 딥모델과 GBDT 사이에 보편적인 승자가 있는가?
• RQ4 FT-Transformer가 ResNet을 능가하는 조건은 무엇이며 그 이유는 무엇인가?

주요 결과

• FT-Transformer가 대부분의 작업에서 승리하여 데이터세트 전반에 걸친 더 넓은 일반성을 제공한다.
• ResNet-유사 아키텍처는 다른 모델들이 일관되게 이기지 못하는 놀랍도록 강력하고 단순한 베이스라인 역할을 한다.
• MLP는 합리적인 체크 포인트로 남지만, 적절한 튜닝이 이루어지면 간단한 베이스라인도 경쟁력을 갖춘다.
• 딥모델과 GBDT 중 보편적으로 우수한 솔루션은 없으며 성능은 데이터셋에 따라 다르다.
• 앙상블은 DL 모델의 성능을 강화하고, FT-Transformer 앙상블이 특히 경쟁력 있다.
• GBDT에 비해 DL 모델이 많은 작업에서 더 뛰어나지만, 튜닝된 GBDT가 여전히 특정 데이터세트(예: California Housing, Adult)에서 우위를 차지한다.