[論文レビュー] On Embeddings for Numerical Features in Tabular Deep Learning

Yury Gorishniy, Ivan Rubachev+1 more|arXiv (Cornell University)|Mar 10, 2022

Model Reduction and Neural Networks被引用数 58

ひとこと要約

本論文は、表形式データの深層学習における数値特徴の埋め込み方式（区分線形エンコードと周期的活性化）を提案し、バックボーン全体で性能を大幅に向上させ、いくつかのベンチマークでGBDTとのギャップを縮めている。

ABSTRACT

Recently, Transformer-like deep architectures have shown strong performance on tabular data problems. Unlike traditional models, e.g., MLP, these architectures map scalar values of numerical features to high-dimensional embeddings before mixing them in the main backbone. In this work, we argue that embeddings for numerical features are an underexplored degree of freedom in tabular DL, which allows constructing more powerful DL models and competing with GBDT on some traditionally GBDT-friendly benchmarks. We start by describing two conceptually different approaches to building embedding modules: the first one is based on a piecewise linear encoding of scalar values, and the second one utilizes periodic activations. Then, we empirically demonstrate that these two approaches can lead to significant performance boosts compared to the embeddings based on conventional blocks such as linear layers and ReLU activations. Importantly, we also show that embedding numerical features is beneficial for many backbones, not only for Transformers. Specifically, after proper embeddings, simple MLP-like models can perform on par with the attention-based architectures. Overall, we highlight embeddings for numerical features as an important design aspect with good potential for further improvements in tabular DL.

研究の動機と目的

• 表形式データの深層学習における設計選択として、数値特徴の埋め込みを強調する。
• 2つの埋め込みスキーム（区分線形エンコードと周期的活性化）を開発・比較する。
• 埋め込みがMLP、ResNet、Transformerといったバックボーン全体、およびGBDTに適したベンチマークで性能向上をもたらすことを示す。
• 適切な埋め込みと組み合わせた場合、シンプルなMLPが注意機構ベースのモデルと張り合えることを示す。

提案手法

• 数値特徴の埋め込みを独立した特徴埋め込みとして formalize z_i = f_i(x_i^(num)).
• 2つの埋め込みブロックを提案する: (a) 特徴 binning に基づく区分線形エンコード（PLE）、(b) 学習可能な前活性化係数を備えた周期的活性化。
• ビン構成法の説明: 分位基準ベースとターゲット認識型（C4.5に触発）。
• 埋め込みの上に任意の微分可能な層を追加可能（例: 線形層、ReLU）。
• MLP風とTransformerバックボーンの両方に埋め込みを適用可能とする。バックボーンに応じて埋め込みを連結するかそのまま通す。
• 複数のバックボーン（MLP、ResNet、Transformer）と幅広い埋め込みセットを用いて、11データセットにわたる精度/RMSEを評価する。

実験結果

リサーチクエスチョン

• RQ1 数値特徴の表現力豊かな埋め込みは、従来の線形ブロックを超えて表形式のDLの性能を向上させるか？
• RQ2 数値特徴の埋め込みの利点は、Transformer系モデルに限らず、バックボーン全体に普遍的か？
• RQ3 どの埋め込みスキーム（PLE quantile、PLE target-aware、periodic、またはそれらの組み合わせ）がデータセット全体で最良の性能を発揮するか？
• RQ4 適切な埋込みを備えたシンプルなMLPは、最先端の注意機構ベースモデルやGBDTのベースラインと競えるか？

主な発見

バックボーン	埋め込み	GE ↑	CH ↑	CA ↓	HO ↓	AD ↑	OT ↑	HI ↑	FB ↓	SA ↑	CO ↑	MI ↓	Avg. Rank
CatBoost	N/A	0.692	0.861	0.430	3.093	0.873	0.825	0.727	5.226	0.924	0.967	0.741	3.6 ± 2.9
XGBoost	N/A	0.683	0.859	0.434	3.152	0.875	0.827	0.726	5.338	0.919	0.969	0.742	4.6 ± 2.7
MLP	-	0.665	0.856	0.486	3.109	0.856	0.822	0.727	5.616	0.913	0.968	0.746	8.5 ± 2.6
MLP-LR	-	0.679	0.861	0.463	3.012	0.859	0.826	0.731	5.477	0.924	0.972	0.744	5.5 ± 2.7
MLP-Q-LR	-	0.682	0.859	0.433	3.080	0.867	0.818	0.724	5.471	0.924	0.974	0.745	5.1 ± 1.9
MLP-T-LR	-	0.690	0.857	0.425	3.143	0.868	0.818	0.726	5.471	0.924	0.975	0.744	4.4 ± 2.2
MLP-PLR	-	0.700	0.858	0.453	2.975	0.874	0.830	0.734	5.388	0.924	0.975	0.743	3.0 ± 2.4
ResNet	-	0.690	0.861	0.483	3.081	0.856	0.821	0.734	5.482	0.918	0.968	0.745	6.7 ± 3.3
ResNet-LR	-	0.672	0.862	0.450	2.992	0.859	0.822	0.733	5.415	0.923	0.971	0.743	5.6 ± 2.7
ResNet-Q-LR	-	0.674	0.859	0.427	3.066	0.868	0.815	0.729	5.309	0.923	0.976	0.746	4.7 ± 2.0
ResNet-T-LR	-	0.683	0.862	0.425	3.030	0.872	0.822	0.731	5.471	0.923	0.975	0.744	4.1 ± 1.9
Transformer-L	FT-Transformer	0.668	0.861	0.455	3.188	0.860	0.824	0.727	5.434	0.924	0.973	0.743	5.9 ± 2.2
Transformer-LR	-	0.666	0.861	0.446	3.193	0.861	0.824	0.733	5.430	0.924	0.973	0.743	5.2 ± 2.2
Transformer-Q-LR	-	0.690	0.857	0.425	3.143	0.868	0.818	0.726	5.471	0.924	0.975	0.744	4.4 ± 2.2
Transformer-T-LR	-	0.686	0.862	0.423	3.149	0.871	0.823	0.733	5.515	0.924	0.976	0.744	3.7 ± 2.2
Transformer-PLR	-	0.686	0.864	0.449	3.091	0.873	0.823	0.734	5.581	0.924	0.975	0.743	3.9 ± 2.5
MLP-P	-	0.631	0.860	0.489	3.129	0.869	0.807	0.723	5.845	0.923	0.968	0.747	-

• 数値特徴の埋め込みは、MLP、ResNet、Transformerバックボーンで顕著な改善をもたらす。
• 区分線形エンコード（PLE）はしばしば結果を改善し、分位ベースとターゲット認識型のビニングが高い性能を発揮する。
• 周期的活性化は有効で、追加の微分可能層を用いると、単純な周期埋め込みを上回ることが多い。
• 適切な埋め込みを備えたMLPは、いくつかのデータセットでTransformerベースのモデルと同等かそれ以上になり、DL-GBDTギャップの一部を縮める。
• いくつかの公開ベンチマークでは、埋め込みを用いたDLモデルが表形式DL手法の中で最先端を達成し、GBDTの性能に近づく。
• 埋め込みによるオーバーヘッドでパラメータ数が増加するが、特定のバックボーンではトレーニングの高速化で相殺できる。