[论文解读] Adaptive Factorization Network: Learning Adaptive-Order Feature Interactions

Weiyu Cheng, Yanyan Shen+1 more|arXiv (Cornell University)|Sep 7, 2019

Recommender Systems and Techniques参考文献 22被引用 10

一句话总结

本文提出自适应分解网络（AFN），一种新颖的深度学习模型，通过使用对数变换层将特征幂参数化为可学习系数，自适应地从数据中学习任意阶次的特征交互。与传统分解模型固定最大交互阶次并枚举所有组合不同，AFN动态发现并加权有用的交叉特征，在四个真实世界数据集上实现了最先进性能，同时提升了表达能力和效率。

ABSTRACT

Various factorization-based methods have been proposed to leverage second-order, or higher-order cross features for boosting the performance of predictive models. They generally enumerate all the cross features under a predefined maximum order, and then identify useful feature interactions through model training, which suffer from two drawbacks. First, they have to make a trade-off between the expressiveness of higher-order cross features and the computational cost, resulting in suboptimal predictions. Second, enumerating all the cross features, including irrelevant ones, may introduce noisy feature combinations that degrade model performance. In this work, we propose the Adaptive Factorization Network (AFN), a new model that learns arbitrary-order cross features adaptively from data. The core of AFN is a logarithmic transformation layer to convert the power of each feature in a feature combination into the coefficient to be learned. The experimental results on four real datasets demonstrate the superior predictive performance of AFN against the start-of-the-arts.

研究动机与目标

• 解决固定最大阶次分解模型因计算成本高和噪声特征组合而带来的局限性。
• 实现在不枚举所有可能组合的前提下，自动发现判别性强的高阶特征交互。
• 开发一种可微分的端到端框架，联合从数据中学习特征交互阶次与权重。
• 在保持计算效率的同时，相比现有基于分解的模型，提升预测性能。

提出的方法

• 引入对数神经变换层，将特征幂转化为可学习系数，实现任意阶次特征交互建模。
• 使用逐向量的对数神经元，自动学习每个特征在交叉特征组合中的阶次（指数）。
• 应用前馈神经网络对变换后的自适应阶次特征进行元素级交互建模，以实现最终预测。
• 将对数变换视为可微操作，允许反向传播联合优化特征阶次与交互权重。
• 将因子分解机（FMs）和高阶因子分解机（HOFMs）作为特例，其中特征阶次被限制为0或1。
• 在对数神经元之间采用参数共享机制，以降低模型复杂度并防止过拟合。

实验结果

研究问题

• RQ1 深度学习模型是否能在不预先定义最大交互阶次的情况下，学习任意阶次的特征交互？
• RQ2 特征交互阶次的自适应学习是否能带来优于固定阶次模型的预测性能？
• RQ3 通过端到端训练，模型是否能有效抑制无关或噪声的特征组合？
• RQ4 在训练过程中，学习到的特征阶次如何变化？其在不同数据集上的分布特征如何？
• RQ5 AFN在真实世界应用中，其泛化能力或性能相比现有基于分解的模型有多大的提升？

主要发现

• AFN在四个真实世界数据集（包括Criteo和Frappe）上实现了最先进性能，优于FMs、HOFMs和AFM。
• AFN中学习到的特征阶次分布在较广范围内，从-1到1，交叉特征阶次跨度为4到10，表明实现了动态、数据驱动的交互发现。
• 即使仅使用3个对数神经元，AFN仍能保持强劲性能，证明其能有效识别出少数关键交叉特征。
• 模型在不同深度的隐藏层中表现稳定，当深度为零时性能下降极小，表明对数变换层具有显著有效性。
• 当隐藏层参数超过600时出现过拟合，表明模型容量与泛化能力之间存在明确权衡。
• 案例研究证实，AFN成功学习到有意义的交叉特征，如（item_id, is_free, country）和（user_id, item_id），与推荐系统中已知的信号重要性一致。