[論文レビュー] A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning

Valeriia Cherepanova, R. V. Levin+6 more|arXiv (Cornell University)|Nov 10, 2023

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿は、表形式の深層学習における特徴選択のためのパフォーマンス駆動型ベンチマークを導入し、実データに合成された余分な特徴（ノイズ、汚染、2次特徴）を含む実データセット上で手法を評価する。入力勾配に基づくLassoの類似手法であるDeep Lassoを提案し、特に汚染された特徴やエンジニアリングされた特徴の下で、従来手法を上回る性能を発揮することで、下流モデルの精度と耐性を向上させる。

ABSTRACT

Academic tabular benchmarks often contain small sets of curated features. In contrast, data scientists typically collect as many features as possible into their datasets, and even engineer new features from existing ones. To prevent overfitting in subsequent downstream modeling, practitioners commonly use automated feature selection methods that identify a reduced subset of informative features. Existing benchmarks for tabular feature selection consider classical downstream models, toy synthetic datasets, or do not evaluate feature selectors on the basis of downstream performance. Motivated by the increasing popularity of tabular deep learning, we construct a challenging feature selection benchmark evaluated on downstream neural networks including transformers, using real datasets and multiple methods for generating extraneous features. We also propose an input-gradient-based analogue of Lasso for neural networks that outperforms classical feature selection methods on challenging problems such as selecting from corrupted or second-order features.

研究の動機と目的

• 表形式の深層学習における特徴選択のための現実的でパフォーマンスに基づくベンチマークの不足に対処すること。
• ノイズ、汚染された特徴、2次特徴など多様な種類の余分な特徴を含む実世界のデータセット上で特徴選択手法を評価すること。
• 下流のニューラルネットワークのパフォーマンスを向上させる、深層学習と互換性のある特徴選択手法の開発と検証。
• 実際の現場で一般的な複雑な特徴設定において、従来の特徴選択手法が失敗することを示すこと。
• 今後の研究を支援する再現可能なベンチマークを確立すること。

提案手法

• 実際の表形式データセットを用いて、3種類の余分な特徴（ランダムノイズ、汚染された特徴（例：シャッフルまたは摂動されたもの）、2次特徴（例：ペアワイズ相互作用））を追加することでベンチマークを構築する。
• 深層ニューラルネットワーク（MLP、Transformer、XGBoost、ランダムフォレスト）の下流パフォーマンスを主な指標として、特徴選択手法を評価する。
• Lassoにインspiredされた、入力勾配に基づく微分可能で特徴選択可能な手法であるDeep Lassoを提案。この手法は、モデル予測に対する特徴の勾配影響に基づいてペナルティを課す。
• 入力勾配に微分可能なL1正則化を適用してモデルを学習し、一貫した最適化により無情報特徴を特定・抑制する。
• 比較のため、表形式のTransformerからのアテンションマップを追加の特徴選択信号として用いる。
• 複数のベースライン手法（Lasso、LassoNet、AGL、XGBoost、ランダムフォレスト）を適用し、同一のベンチマーク上で性能を比較する。

Figure 1: Performance of FT-Transformer, MLP and XGBoost models when trained on data with random extra features. The X-axes indicates the percentage of uninformative features in the dataset and the Y-axes depict accuracy for classification problems and negative RMSE for regression datasets, so highe

実験結果

リサーチクエスチョン

• RQ1 実際の表形式データを用いて深層ニューラルネットワークを学習する際、既存の特徴選択手法は、情報を持つ特徴を効果的に特定できるか？
• RQ2 特徴の汚染や高次特徴工学的処理といった現実的な課題下で、特徴選択手法の性能はいかがなるか？
• RQ3 Deep Lassoのような勾配に基づく微分可能な特徴選択手法は、従来の非微分可能な手法を上回る性能を示すか？
• RQ4 表形式のTransformerにおけるアテンション機構は、従来手法と比較して、どの程度特徴選択を向上させるか？
• RQ5 代替指標ではなく、下流のニューラルネットワークの精度を評価基準とした場合、特徴選択手法間で顕著な性能差が生じるか？

主な発見

• Deep Lassoは、MLPおよびTransformerモデルの両方で最高の下流パフォーマンスを達成し、すべてのベンチマーク設定ですべてのベースラインを上回った。
• 汚染された特徴の下では、MLPを用いた場合のテストAUCが0.805±0.002、FTを用いた場合が0.819±0.001となり、Lasso（0.807±0.001）やXGBoost（0.803±0.003）を顕著に上回った。
• 2次特徴設定では、MLPを用いた場合のテストAUCが0.805±0.002、FTを用いた場合が0.819±0.001となり、次に優れた手法（AGL）を0.01以上のAUCで上回った。
• 従来の手法（LassoやXGBoost）は、汚染された特徴の下で性能が低下し、AUCがそれぞれ0.793±0.003および0.803±0.003に低下した。これは耐性の低さを示している。
• 表形式のTransformerからのアテンションマップを用いることで競争力のある結果が得られたが、特にノイズが多いまたは汚染された状況ではDeep Lassoに到達しなかった。
• ベンチマークにより、特徴選択手法のパフォーマンスが大きく異なることが判明し、唯一Deep Lassoがすべての課題的特徴タイプで高いパフォーマンスを維持した。

Figure 2: Percent of random, corrupted, and second-order features selected by different feature selection algorithms. Importance rank correlation refers to pair-wise feature importance Spearman correlation averaged across all feature selection algorithms and datasets. Random features are less often