[論文レビュー] Deep Neural Networks and Tabular Data: A Survey

Vadim Borisov, Tobias Leemann+4 more|arXiv (Cornell University)|Oct 5, 2021

Explainable Artificial Intelligence (XAI)被引用数 29

ひとこと要約

heterogeneous tabular data に対する深層学習の総合的な調査で、分類 (データ変換、専門的なアーキテクチャ、正則化) の分類体系を提案し、生成と explainability を調査し、実証ベンチマークでは勾配ブースト木が supervised なタスクで深層モデルよりも高い性能を示すことが多い。

ABSTRACT

Heterogeneous tabular data are the most commonly used form of data and are essential for numerous critical and computationally demanding applications. On homogeneous data sets, deep neural networks have repeatedly shown excellent performance and have therefore been widely adopted. However, their adaptation to tabular data for inference or data generation tasks remains challenging. To facilitate further progress in the field, this work provides an overview of state-of-the-art deep learning methods for tabular data. We categorize these methods into three groups: data transformations, specialized architectures, and regularization models. For each of these groups, our work offers a comprehensive overview of the main approaches. Moreover, we discuss deep learning approaches for generating tabular data, and we also provide an overview over strategies for explaining deep models on tabular data. Thus, our first contribution is to address the main research streams and existing methodologies in the mentioned areas, while highlighting relevant challenges and open research questions. Our second contribution is to provide an empirical comparison of traditional machine learning methods with eleven deep learning approaches across five popular real-world tabular data sets of different sizes and with different learning objectives. Our results, which we have made publicly available as competitive benchmarks, indicate that algorithms based on gradient-boosted tree ensembles still mostly outperform deep learning models on supervised learning tasks, suggesting that the research progress on competitive deep learning models for tabular data is stagnating. To the best of our knowledge, this is the first in-depth overview of deep learning approaches for tabular data; as such, this work can serve as a valuable starting point to guide researchers and practitioners interested in deep learning with tabular data.

研究の動機と目的

• 表形式データに対する深層学習の既存文献を supervised、unsupervised、データ生成、interpretability のタスクを横断して詳述する。
• heterogeneous tabular data を整理する統一的な分類体系 (データ変換、専門的アーキテクチャ、正則化) を提案する。
• tabular data 上の深層モデルの生成技術と explainability のアプローチを要約する。
• 実世界データセット上で従来の ML 手法と深層学習アプローチの広範な経験的比較を提供し、再現性を可能にするオープンなベンチマークを提供する。

提案手法

• tabular data の深層学習手法の統一分類体系 (データ変換、専門的アーキテクチャ、正則化) を導入する。
• カテゴリ特徴と数値特徴のデータ変換技術を、単一および多次元エンコードを含めて調査する。
• 表計データ用のハイブリッドモデルやトランスフォーマー系モデルを含む専門的アーキテクチャを説明する。
• tabular data に対する深層モデルを改善する正則化戦略をレビューする。
• 表形式データの生成アプローチと生成品質の評価を論じる。
• 深層モデルの tabular data に対する説明機構と経験的ベンチマークフレームワークを提示する。

実験結果

リサーチクエスチョン

• RQ1 heterogeneous tabular data に適用する深層学習の主な研究分野と方法論は何か。
• RQ2 tabular data に対する深層学習アプローチは実世界データセット上で従来の方法とどう比較されるのか。
• RQ3 深層学習を用いた tabular data の推論、生成、解釈性における未解決課題と今後の方向性は何か。
• RQ4 統一的な分類体系は practitioners が tabular data のタスクに適切な方法を選択するのに役立つか。

主な発見

• 勾配ブースト木のアンサンブルは、検証されたデータセット全体で supervised なタスクにおいて深層学習モデルを大きく上回ることが依然として多い。
• tabular data の深層学習の進展は、強力な木ベースのベースラインに対して停滞しているように見え、方法論的な進歩の余地がある。
• 本論文は再現・拡張を可能にするオープンなベンチマークとコードを提供する。
• 幅広い調査は tabular data における核心的な課題を特定している：データ品質、非規則的な特徴依存性、前処理依存、特徴ごとの感度。