[论文解读] Differentiable Neural Input Search for Recommender Systems

Weiyu Cheng, Yanyan Shen+1 more|arXiv (Cornell University)|Jun 8, 2020

Recommender Systems and Techniques参考文献 40被引用 20

一句话总结

本文提出可微神经输入搜索（DNIS），一种可微的、基于梯度的方法，通过引入软选择层来控制维度重要性，联合优化特征嵌入维度与模型性能。DNIS 实现了对嵌入维度的灵活、连续搜索，在参数量更少、训练时间更短的情况下，实现了比以往神经输入搜索方法更优的推荐性能。

ABSTRACT

Latent factor models are the driving forces of the state-of-the-art recommender systems, with an important insight of vectorizing raw input features into dense embeddings. The dimensions of different feature embeddings are often set to a same value empirically, which limits the predictive performance of latent factor models. Existing works have proposed heuristic or reinforcement learning-based methods to search for mixed feature embedding dimensions. For efficiency concern, these methods typically choose embedding dimensions from a restricted set of candidate dimensions. However, this restriction will hurt the flexibility of dimension selection, leading to suboptimal performance of search results. In this paper, we propose Differentiable Neural Input Search (DNIS), a method that searches for mixed feature embedding dimensions in a more flexible space through continuous relaxation and differentiable optimization. The key idea is to introduce a soft selection layer that controls the significance of each embedding dimension, and optimize this layer according to model's validation performance. DNIS is model-agnostic and thus can be seamlessly incorporated with existing latent factor models for recommendation. We conduct experiments with various architectures of latent factor models on three public real-world datasets for rating prediction, Click-Through-Rate (CTR) prediction, and top-k item recommendation. The results demonstrate that our method achieves the best predictive performance compared with existing neural input search approaches with fewer embedding parameters and less time cost.

研究动机与目标

• 为解决潜在因子模型中固定、统一的嵌入维度所带来的局限性，这些局限性可能导致高频特征利用不足或低频特征过拟合。
• 克服现有神经输入搜索（NIS）中基于离散候选集的搜索方法效率低下且次优的问题，这些方法将维度选择限制在预定义集合内。
• 开发一种与模型无关的可微方法，实现基于验证性能的连续、基于梯度的嵌入维度优化。
• 通过优化后的细粒度剪枝过程，剪除冗余的嵌入维度，从而减小模型大小和参数数量。

提出的方法

• 引入软选择层，通过特征嵌入与可学习缩放向量的逐元素相乘，实现对每个嵌入维度重要性的连续控制。
• 使用验证损失作为目标，通过梯度下降优化软选择层，实现端到端的可微训练。
• 提出一种梯度归一化技术，通过降低软选择层优化过程中梯度的高方差，提升训练稳定性。
• 训练完成后，将软选择层与嵌入层合并，并应用细粒度剪枝，为每个特征推导出混合嵌入维度方案。
• 使用基础维度空间 $ K $，并将特征划分为 $ L $ 个块，以实现对维度分配的细粒度控制。
• 该方法与模型无关，可无缝集成到任何现有的推荐系统潜在因子模型中。

实验结果

研究问题

• RQ1 与离散的启发式方法或强化学习方法相比，嵌入维度搜索的可微、连续松弛是否能提升推荐性能？
• RQ2 所学得的嵌入维度分布与特征频率及预测效用之间有何关联？
• RQ3 所提出的梯度归一化技术是否能稳定软选择层的训练并改善收敛性？
• RQ4 DNIS 是否在参数更少、时间成本更低的情况下，优于现有神经输入搜索方法？

主要发现

• DNIS 在三个公开数据集上的评分预测、点击率预测和 Top-k 项目推荐任务中均实现了最先进性能。
• 通过剪枝冗余的嵌入参数，该方法显著减小了模型大小，在参数更少的情况下性能优于基线方法。
• 高频特征被分配更大的嵌入维度，而低频特征则被分配更小的维度，这一现象在学习得到的 $ \bm{\alpha} $ 参数和剪枝后的维度中均有体现。
• 软选择层参数 $ \bm{\alpha} $ 对低频特征收敛至更小的值，表明其被分配的维度更少。
• 在所有剪枝率下，DNIS 在 AUC 和 Logloss 上均优于网络剪枝方法，证明了基于梯度优化的特征维度选择具有优越性。
• 增加 $ K $（基础维度）和 $ L $（特征块数量）可提升性能，但超过一定值后增益递减，表明在高设置下存在收益递减现象。