[论文解读] Field-wise Learning for Multi-field Categorical Data

Zhibin Li, Jian Zhang+3 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出针对多字段类别型数据的字段级学习方法，即在每个字段内对各个类别分别训练独立的线性模型，并通过方差约束与低秩约束提升泛化能力与可解释性。该方法在 Avazu 和 Criteo 等大规模数据集上达到当前最优性能，logloss 更低，且对过参数化具有更强鲁棒性。

ABSTRACT

We propose a new method for learning with multi-field categorical data. Multi-field categorical data are usually collected over many heterogeneous groups. These groups can reflect in the categories under a field. The existing methods try to learn a universal model that fits all data, which is challenging and inevitably results in learning a complex model. In contrast, we propose a field-wise learning method leveraging the natural structure of data to learn simple yet efficient one-to-one field-focused models with appropriate constraints. In doing this, the models can be fitted to each category and thus can better capture the underlying differences in data. We present a model that utilizes linear models with variance and low-rank constraints, to help it generalize better and reduce the number of parameters. The model is also interpretable in a field-wise manner. As the dimensionality of multi-field categorical data can be very high, the models applied to such data are mostly over-parameterized. Our theoretical analysis can potentially explain the effect of over-parametrization on the generalization of our model. It also supports the variance constraints in the learning objective. The experiment results on two large-scale datasets show the superior performance of our model, the trend of the generalization error bound, and the interpretability of learning outcomes. Our code is available at https://github.com/lzb5600/Field-wise-Learning.

研究动机与目标

• 为解决通用模型在多字段类别型数据中因高异质性而面临的挑战。
• 提升高维稀疏类别特征空间中的模型泛化能力，减少过拟合。
• 通过为每个字段学习类别特定模型，实现可解释的字段级模型解释。
• 从理论上证明过参数化与约束在泛化性能中的作用。
• 开发一种可扩展且高效的训练框架，避免复杂的特征工程。

提出的方法

• 该方法为每个字段训练一对一的字段聚焦线性模型，即每个字段中的每个类别类别都拥有独立的模型。
• 在每个字段内对权重向量施加方差约束，以防止其偏离总体均值。
• 对每个字段的权重矩阵施加低秩约束，以减少参数量并促进特征相关性。
• 模型使用结合方差惩罚与低秩惩罚的正则化目标函数，以增强泛化能力。
• 理论分析推导出泛化误差界，支持方差约束的有效性，并证明适度过参数化的优势。
• 该框架可扩展至更复杂的模型（超越线性模型），同时保持可解释性。

实验结果

研究问题

• RQ1 与通用模型相比，采用类别特定模型的字段级学习是否能提升多字段类别型数据的泛化能力？
• RQ2 在高维稀疏设置下，方差约束与低秩约束如何影响模型性能与泛化能力？
• RQ3 在字段级模型中，过参数化是否仍能带来更好的泛化性能？其理论依据是否成立？
• RQ4 该模型能否在字段与类别层面提供有意义且可解释的洞察？
• RQ5 在大规模数据集上，该模型在训练时间与参数效率方面表现如何？

主要发现

• 在 Avazu 与 Criteo 数据集上，所提模型的 logloss 显著低于所有基线模型，改进幅度至少达 0.001，被认为具有显著意义。
• 即使参数量相对较大，模型仍表现出优越性能，表明该框架中过参数化具有益处。
• 泛化误差界显示，随着参数量增加，误差先下降后上升，支持适度过参数化的优势。
• 字段级解释表明，类别特定模型权重方差较高的字段（如 Country）代表更显著的数据子群，支持针对性分析。
• 模型实现了快速收敛与高效训练，两大数据集的训练均在 2–3 小时内完成。
• 方差约束与低秩约束在实证与理论上均得到验证，有效提升泛化能力并降低模型复杂度。