[論文レビュー] A Closer Look at Deep Learning Methods on Tabular Datasets

Han-Jia Ye, Siyang Liu+3 more|arXiv (Cornell University)|Jul 1, 2024

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

300個の表データセットを対象に、ディープ表データ法と木ベース法を比較した大規模ベンチマークを提供し、学習ダイナミクスを分析し、効率的な表データ研究のための小規模ベンチマークを導入する。

ABSTRACT

Tabular data is prevalent across diverse domains in machine learning. With the rapid progress of deep tabular prediction methods, especially pretrained (foundation) models, there is a growing need to evaluate these methods systematically and to understand their behavior. We present an extensive study on TALENT, a collection of 300+ datasets spanning broad ranges of size, feature composition (numerical/categorical mixes), domains, and output types (binary, multi--class, regression). Our evaluation shows that ensembling benefits both tree-based and neural approaches. Traditional gradient-boosted trees remain very strong baselines, yet recent pretrained tabular models now match or surpass them on many tasks, narrowing--but not eliminating--the historical advantage of tree ensembles. Despite architectural diversity, top performance concentrates within a small subset of models, providing practical guidance for method selection. To explain these outcomes, we quantify dataset heterogeneity by learning from meta-features and early training dynamics to predict later validation behavior. This dynamics-aware analysis indicates that heterogeneity--such as the interplay of categorical and numerical attributes--largely determines which family of methods is favored. Finally, we introduce a two-level design beyond the 300 common-size datasets: a compact TALENT-tiny core (45 datasets) for rapid, reproducible evaluation, and a TALENT-extension suite targeting high-dimensional, many-class, and very large-scale settings for stress testing. In summary, these results offer actionable insights into the strengths, limitations, and future directions for improving deep tabular learning.

研究の動機と目的

• 最先端のディープ表データ法の性能を、さまざまな表データセットを横断する木ベース法と比較して評価する。
• ディープ表データモデルの学習ダイナミクスを分析し、初期の検証曲線とデータセットのメタ特徴から最終性能を予測する。
• ディープ対木ベース法の成功に有利なデータセットの特性を特定し、将来の表データ研究を促進する小型ベンチマークを導出する。
• ドメインを横断したディープ表データモデルの成功要因とエンコーディング戦略に関する洞察を提供する。

提案手法

• UCI、OpenML、Kaggle からのバイナリ分類、マルチクラス分類、回帰を含む300個の表データセットのベンチマークを構築する。
• Optunaによるハイパーパラメータ調整を用いた100回の試行と15個のシードで、古典的、木ベースのアンサンブル、ディープ表データモデルを評価する。
• トレーニングダイナミクス（エポックごとの損失、精度/RMSE）を記録し、データセットのメタ特徴と初期曲線値から検証曲線の進化を予測するタスクを定義する。
• 曲線族のパラメトリック形 a_theta(t) = A log t + B sqrt(t) + C + D/t を提案し、データセットの特徴と早期エポックデータから曲線パラメータへのメタマッピングを学習する。
• 分析を絞るための15%サイズの2つの小型ベンチマークと、軽量研究を可能にする順位一貫性のあるサブセットを抽出する。
• 特徴エンコーディング戦略（PLE-Q、PLE-T）が異なるデータセットサブセット（木に優しい vs DNNに優しい）に与える影響を調査する。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様な表データセット集合において、深層表データ法と木ベース法の平均性能ランクはどのように比較されるのか？
• RQ2 ディープ表データモデルで現れる学習ダイナミクスのパターンは何か、初期の検証曲線は最終性能を予測できるか？
• RQ3 ディープ表データ法と木ベース法の成功を左右するデータセットのメタ特徴は何か？
• RQ4 小型ベンチマークは全ベンチマークのランキング傾向を信頼性高く反映し、エンコーディング戦略の分析を支援できるか？

主な発見

• CatBoostは多くの分類タスクと回帰タスクで最良の平均ランクを達成する。
• ディープ表データ法の中ではTabRがしばしば最良の成績を示すが、トレーニングコストは高い。
• ハイパーパラメータ調整は、多くのタスクで平均ランクを大幅に改善する。
• ディープ表データ法は一般にデータセットが大きく複雑なほど恩恵を受け、CatBoostはより大規模なデータセットで優れる。
• 初期曲線データとデータセットのメタ特徴を用いた学習ダイナミクス予測は検証曲線に良好に適合し、早期停止を効果的に支援できる。
• 小型ベンチマークは木ベース法とディープ法がそれぞれ得意とする領域を示し、エンコーディング戦略（PLE）が木に優しいデータセットでより効果を発揮することを示す。