[论文解读] Hopular: Modern Hopfield Networks for Tabular Data

Bernhard Schäfl, Lukas Gruber+2 more|arXiv (Cornell University)|Jun 1, 2022

Advanced Neural Network Applications被引用 12

一句话总结

Hopular 提出了一种用于表格数据的新型深度学习架构，该架构在每一层中集成现代连续霍普菲尔德网络作为外部记忆，通过访问完整训练集实现预测的迭代优化。在中等规模表格数据集上（例如，sulfur 数据集的均方误差为 1.04±0.02），其性能优于 XGBoost、CatBoost、LightGBM 及其他深度学习模型，并在小样本数据集上超越梯度提升方法，通过记忆增强的迭代学习实现最先进性能。

ABSTRACT

While Deep Learning excels in structured data as encountered in vision and natural language processing, it failed to meet its expectations on tabular data. For tabular data, Support Vector Machines (SVMs), Random Forests, and Gradient Boosting are the best performing techniques with Gradient Boosting in the lead. Recently, we saw a surge of Deep Learning methods that were tailored to tabular data but still underperform compared to Gradient Boosting on small-sized datasets. We suggest "Hopular", a novel Deep Learning architecture for medium- and small-sized datasets, where each layer is equipped with continuous modern Hopfield networks. The modern Hopfield networks use stored data to identify feature-feature, feature-target, and sample-sample dependencies. Hopular's novelty is that every layer can directly access the original input as well as the whole training set via stored data in the Hopfield networks. Therefore, Hopular can step-wise update its current model and the resulting prediction at every layer like standard iterative learning algorithms. In experiments on small-sized tabular datasets with less than 1,000 samples, Hopular surpasses Gradient Boosting, Random Forests, SVMs, and in particular several Deep Learning methods. In experiments on medium-sized tabular data with about 10,000 samples, Hopular outperforms XGBoost, CatBoost, LightGBM and a state-of-the art Deep Learning method designed for tabular data. Thus, Hopular is a strong alternative to these methods on tabular data.

研究动机与目标

• 为解决深度学习在小样本和中等规模表格数据集上持续存在的性能差距问题，这些数据集目前仍由 XGBoost 和随机森林等传统模型主导。
• 开发一种深度学习架构，能够通过在每一层直接访问完整训练集，实现预测的迭代优化。
• 利用现代霍普菲尔德网络作为连续外部记忆，以建模表格数据中的特征-特征、特征-目标及样本-样本之间的依赖关系。
• 在基准表格数据集上超越 XGBoost、CatBoost、LightGBM 及专用深度学习模型等成熟方法。
• 证明记忆增强的深度学习结合迭代推理可在数据稀缺场景下媲美甚至超越梯度提升方法。

提出的方法

• Hopular 的每一层都集成了一个现代连续霍普菲尔德网络，用于从完整训练集中存储和检索信息，从而实现动态记忆访问。
• 霍普菲尔德网络通过对存储模式计算基于能量的注意力机制，使每一层能够利用所有训练样本的上下文信息来更新其表示。
• 该架构支持端到端反向传播训练，模型通过多层学习实现预测的逐步优化，模拟迭代学习算法。
• 通过关注相关训练样本，每一层更新特征表示，从而捕捉特征间与样本间的依赖关系。
• 该方法集成了连续且可微分的记忆机制，支持对存储模式和注意力权重的梯度优化。
• 模型使用标准深度学习目标函数进行训练（例如，交叉熵、均方误差），并通过注意力门控机制实现对特征和样本的选择性利用。

实验结果

研究问题

• RQ1 具备连续外部记忆的深度学习模型是否能在小规模表格数据集上超越梯度提升方法？
• RQ2 现代霍普菲尔德网络的集成如何改善表格数据中特征与样本的表示学习？
• RQ3 通过记忆访问实现的迭代优化是否能提升在数据稀缺的表格数据集上的泛化能力？
• RQ4 记忆增强的深度学习架构是否能在中等规模数据集上达到或超越 XGBoost 和 LightGBM 等最先进表格模型的性能？
• RQ5 在每一层都直接访问完整训练集对模型准确率和泛化能力有何影响？

主要发现

• 在中等规模表格数据集上（例如，sulfur、colleges、eye），Hopular 在 6 个数据集中的 3 个上取得最佳性能，中位排名为 1.5，优于 XGBoost、CatBoost、LightGBM 和 NPTs。
• 在 sulfur 回归数据集上，Hopular 的均方误差为 1.04±0.02，显著优于 XGBoost（1.23±0.00）和 CatBoost（1.06±0.01）。
• 在 colleges 回归数据集上，Hopular 的均方误差为 21.18±0.09，优于 XGBoost（30.47±0.00）和 LightGBM（25.64±0.09）。
• 在 shrutime 和 blastchar 二分类任务上，Hopular 的准确率分别为 86.12±0.09% 和 80.05±0.11%，优于 XGBoost 和 LightGBM。
• 尽管访问完整训练集，Hopular 所需内存显著少于 NPTs，表明其内存利用效率高。
• 运行时间估算表明，Hopular 在小到中等规模数据集上计算上是可行的，性能提升远超计算成本。