[论文解读] MambaTab: A Plug-and-Play Model for Learning Tabular Data

Md Atik Ahamed, Qiang Cheng|arXiv (Cornell University)|Jan 16, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

MambaTab 提出了一种即插即用的轻量化模型，用于表格数据，采用 Mamba——一种结构化状态空间模型（SSM）变体——实现端到端的监督学习，仅需极少的预处理。该模型在 8 个基准数据集上实现了最先进性能，参数量不足基于 Transformer 的基线模型的 1%，同时支持高效的特征增量学习和线性参数扩展。

ABSTRACT

Despite the prevalence of images and texts in machine learning, tabular data remains widely used across various domains. Existing deep learning models, such as convolutional neural networks and transformers, perform well however demand extensive preprocessing and tuning limiting accessibility and scalability. This work introduces an innovative approach based on a structured state-space model (SSM), MambaTab, for tabular data. SSMs have strong capabilities for efficiently extracting effective representations from data with long-range dependencies. MambaTab leverages Mamba, an emerging SSM variant, for end-to-end supervised learning on tables. Compared to state-of-the-art baselines, MambaTab delivers superior performance while requiring significantly fewer parameters, as empirically validated on diverse benchmark datasets. MambaTab's efficiency, scalability, generalizability, and predictive gains signify it as a lightweight, "plug-and-play" solution for diverse tabular data with promise for enabling wider practical applications.

研究动机与目标

• 解决现有深度学习模型在表格数据上计算成本高且预处理需求大的问题。
• 在极少超参数调优的情况下，实现高效、可扩展且泛化能力强的表格数据学习。
• 支持特征增量学习，即在不重新训练旧数据的情况下按顺序添加新特征。
• 开发一种轻量化、开箱即用的解决方案，在多种表格数据集上保持高性能。
• 证明结构化状态空间模型（SSM），特别是 Mamba，能够有效建模表格数据，并具备强大的表征学习能力。

提出的方法

• MambaTab 采用 Mamba——一种高效的 SSM 变体——作为建模表格序列的核心架构。
• 通过残差连接堆叠多个 Mamba 模块，实现更深的表征学习，同时保持参数线性增长。
• 对嵌入表示应用层归一化，以稳定训练过程并提升性能。
• 采用端到端训练，仅需极少的数据预处理，通常无需独热编码或特征缩放。
• 该架构同时支持标准监督学习和特征增量学习，可在不丢弃先前数据的情况下添加新特征。
• 输出头设计灵活，可适配分类任务及未来的回归任务。

实验结果

研究问题

• RQ1 像 Mamba 这样的结构化状态空间模型（SSM）是否能在表格数据上超越 Transformer 和 CNN，实现更优性能？
• RQ2 MambaTab 是否在远少于最先进模型的参数量下仍能保持高性能？
• RQ3 MambaTab 是否能有效处理特征增量学习，即按顺序添加特征？
• RQ4 该模型在多样化的表格数据集上，仅需极少预处理时表现如何？
• RQ5 层归一化和批量大小等架构组件对模型稳定性和性能有何影响？

主要发现

• MambaTab 在 8 个公开表格数据集上，无论是在标准监督学习还是特征增量学习设置下，均优于最先进基线模型，包括基于 Transformer 的模型。
• 当应用层归一化时，模型表现更优——例如，在 CG 数据集上 AUROC 达 0.771，在 CB 数据集上达 0.862，证明其有效性。
• MambaTab 所用参数量不足同类基于 Transformer 模型的 1%，同时保持或超越其性能。
• 模型对批量大小不敏感，在批量大小 60 到 140 范围内性能稳定，表明其泛化能力强。
• 线性增加 Mamba 模块数量可提升参数量，但性能保持一致，表明其具备优异的信息保留能力和可扩展性。
• 消融实验表明，层归一化平均提升 0.012 AUROC，证实其在架构中不可或缺。