[論文レビュー] Revisiting Deep Learning Models for Tabular Data

Yury Gorishniy, Ivan Rubachev+2 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Neural Network Applications参考文献 60被引用数 115

ひとこと要約

この論文は、表データの深層学習モデルの公正かつ大規模な比較を提供し、2つの強力なベースライン（ResNet風とFT-Transformer）を導入し、FT-Transformerがしばしば勝つ一方、どのモデルもGBDTを普遍的に打ち負かすわけではないことを示します。

ABSTRACT

The existing literature on deep learning for tabular data proposes a wide range of novel architectures and reports competitive results on various datasets. However, the proposed models are usually not properly compared to each other and existing works often use different benchmarks and experiment protocols. As a result, it is unclear for both researchers and practitioners what models perform best. Additionally, the field still lacks effective baselines, that is, the easy-to-use models that provide competitive performance across different problems. In this work, we perform an overview of the main families of DL architectures for tabular data and raise the bar of baselines in tabular DL by identifying two simple and powerful deep architectures. The first one is a ResNet-like architecture which turns out to be a strong baseline that is often missing in prior works. The second model is our simple adaptation of the Transformer architecture for tabular data, which outperforms other solutions on most tasks. Both models are compared to many existing architectures on a diverse set of tasks under the same training and tuning protocols. We also compare the best DL models with Gradient Boosted Decision Trees and conclude that there is still no universally superior solution.

研究の動機と目的

• 表形式データのための代表的な深層学習アーキテクチャを、統一されたトレーニングとチューニングのプロトコルのもと評価する。
• 多様な表データタスクを通じて一貫して高い性能を示す、シンプルで堅牢なベースラインを特定する。
• DL モデルが普遍的に GBDT を凌駕できるかを評価し、優れている点と欠点を明らかにする。
• 将来の表データ DL 研究のためのモデル選択とベースラインに関する実践的な指針を提供する。

提案手法

• 表形式データの主要な DL アーキテクチャを、共通の前処理とトレーニングプロトコルで再実装・検討する。
• ResNet風アーキテクチャと表形式データ用に適応させた FT-Transformer の2つのシンプルなベースラインを提案する。
• 11 個の公開表データセットで、一貫した学習/検証/テスト分割の下で大規模な実験を実施する。
• Optuna を用いてハイパーパラメータを調整し、単一モデルとアンサンブルを比較する。
• デフォルトと調整済みのハイパーパラメータの下で、深層モデルと GBDT（XGBoost、CatBoost）を比較する。
• FT-Transformer が ResNet を上回る条件を分析し、タスク間での普遍性を検討する。

実験結果

リサーチクエスチョン

• RQ1 統一されたプロトコルの下で、表データに対して最も良い性能を示す深層学習アーキテクチャはどれか。
• RQ2 シンプルなベースライン（ResNet風と FT-Transformer）は、多様なタスクで強く、信頼性の高い性能を提供するか。
• RQ3 表データ問題において、深層モデルと GBDT の間に普遍的な勝者は存在するか。
• RQ4 FT-Transformer が ResNet を上回る条件は何か、そしてその理由は何か。

主な発見

• FT-Transformer はほとんどのタスクで勝利し、データセット全体での普遍性を提供する。
• ResNet風アーキテクチャは意外にも強力なシンプルなベースラインとして機能し、他のモデルが一貫してこれを上回ることは少ない。
• MLP は合理的なセーフティチェックとして機能するが、適切なチューニングによってシンプルなベースラインが競争力を持つ。
• 深層モデルと GBDT のいずれにも普遍的に優れた解は存在せず、データセット次第で性能が変動する。
• エンサンブルは DL モデルの性能を高め、特に FT-Transformer のエンサンブルが競争力を持つ。
• GBDT と比較して、DL モデルは多くのタスクで上回るが、調整済みの GBDT が特定のデータセット（例：California Housing、Adult）で依然優位になる。