[论文解读] DANets: Deep Abstract Networks for Tabular Data Classification and Regression

Jintai Chen, Kuanlun Liao+3 more|arXiv (Cornell University)|Dec 6, 2021

Machine Learning and Data Classification被引用 5

一句话总结

本文提出深度抽象网络（DANets），一种用于表格数据分类与回归的新型神经网络架构，其核心是可学习的抽象层（AbstLay），该层通过分组相关特征并抽象高层语义信息。通过采用可学习的稀疏掩码进行特征分组，并结合结构重参数化技术以降低推理复杂度，DANets 在性能上达到当前最先进水平，相比竞争模型如 TabNet、NODE 和 Net-DNF，其 FLOPS 降低 14.8–23.0%。

ABSTRACT

Tabular data are ubiquitous in real world applications. Although many commonly-used neural components (e.g., convolution) and extensible neural networks (e.g., ResNet) have been developed by the machine learning community, few of them were effective for tabular data and few designs were adequately tailored for tabular data structures. In this paper, we propose a novel and flexible neural component for tabular data, called Abstract Layer (AbstLay), which learns to explicitly group correlative input features and generate higher-level features for semantics abstraction. Also, we design a structure re-parameterization method to compress the learned AbstLay, thus reducing the computational complexity by a clear margin in the reference phase. A special basic block is built using AbstLays, and we construct a family of Deep Abstract Networks (DANets) for tabular data classification and regression by stacking such blocks. In DANets, a special shortcut path is introduced to fetch information from raw tabular features, assisting feature interactions across different levels. Comprehensive experiments on seven real-world tabular datasets show that our AbstLay and DANets are effective for tabular data classification and regression, and the computational complexity is superior to competitive methods. Besides, we evaluate the performance gains of DANet as it goes deep, verifying the extendibility of our method. Our code is available at https://github.com/WhatAShot/DANet.

研究动机与目标

• 解决缺乏针对表格数据定制的有效、结构化神经组件的问题，此类模型常未能充分发挥深度学习的潜力。
• 克服现有模型依赖通用组件（如全连接层）而缺乏显式特征分组或抽象机制的局限性。
• 设计一种灵活且可扩展的神经网络架构，通过结构化、数据驱动的特征分组方式学习分层特征抽象。
• 通过结构重参数化降低推理过程中的计算复杂度，同时保持模型性能。
• 在多样化的表格数据集上，通过分类与回归任务验证所提架构的有效性与可扩展性。

提出的方法

• 提出抽象层（AbstLay），一种可学习的神经组件，利用稀疏可学习掩码对相关输入特征进行分组，而无需依赖显式的距离度量。
• 在 AbstLay 内部应用特征学习器，从分组后的特征子集中抽象出高层表示，实现多层级的语义抽象。
• 实施一种结构重参数化方法，将特征选择与抽象操作合并为单次前向传播，使单个 AbstLay 层的 FLOPS 降低 49.02%。
• 通过结合 AbstLay 与一种特殊的残差快捷连接路径构建基础模块，以保留原始表格特征，增强层间特征交互。
• 堆叠多个基础模块以构建深度抽象网络（DANets），实现对表格语义的深层分层抽象。
• 采用可微分损失函数进行端到端训练，使掩码能够自适应地识别与目标相关及相关的特征。

实验结果

研究问题

• RQ1 AbstLay 中的可学习掩码能否以数据驱动的方式有效区分目标相关特征与无关特征？
• RQ2 在缺乏显式距离度量或固定归纳偏置的情况下，AbstLay 组件能否识别并分组相关特征？
• RQ3 结构重参数化技术是否能显著降低计算复杂度而不牺牲模型性能？
• RQ4 模型深度与宽度如何影响 DANets 在表格数据上的性能？其可扩展性的极限是什么？
• RQ5 DANets 是否能在真实世界表格数据集上，同时优于竞争模型 TabNet、NODE 和 Net-DNF，在准确率与推理效率方面均表现更优？

主要发现

• AbstLay 中的可学习掩码成功识别出目标相关特征，表现为相关特征（如 $v_2, v_3, v_4, v_5$）激活值较高，而无关特征（如 $v_{10}$）响应接近零。
• 掩码展现出分组相关特征的能力，相似的掩码值表明特征分组关系，如 $(v_0, v_2)$、$(v_5, v_6)$ 和 $(v_6, v_7)$，证实其能够捕捉特征间关系。
• DANets 在七个真实世界表格数据集上达到当前最先进性能，准确率与 F1 分数持续优于竞争模型如 TabNet、NODE 和 Net-DNF。
• DANets 的计算复杂度显著低于集成模型：经结构重参数化后，FLOPS 降低 14.8–23.0%，单个 AbstLay 层的 FLOPS 降低达 49.02%。
• 模型深度与宽度的提升可增强性能，但极端深度与宽度导致收益递减，表明模型缩放存在实际权衡。
• 基础模块中的特殊快捷连接路径增强了特征多样性，并显著提升性能，尤其在深层架构中表现更优。