[论文解读] Discrete Factorization Machines for Fast Feature-based Recommendation

Han Liu, Xiangnan He+4 more|arXiv (Cornell University)|May 6, 2018

Recommender Systems and Techniques参考文献 16被引用 9

一句话总结

本文提出了一种新型二值嵌入模型——离散分解机（DFM），通过将因子分解机（FM）中的特征嵌入二值化，实现在资源受限设备上的快速、低内存推荐。通过采用交替优化算法，联合优化二值参数，并施加平衡与去相关约束，DFM 在保持接近实数值FM性能的同时，使推理速度在真实数据集上最高提升17.5倍。

ABSTRACT

User and item features of side information are crucial for accurate recommendation. However, the large number of feature dimensions, e.g., usually larger than 10^7, results in expensive storage and computational cost. This prohibits fast recommendation especially on mobile applications where the computational resource is very limited. In this paper, we develop a generic feature-based recommendation model, called Discrete Factorization Machine (DFM), for fast and accurate recommendation. DFM binarizes the real-valued model parameters (e.g., float32) of every feature embedding into binary codes (e.g., boolean), and thus supports efficient storage and fast user-item score computation. To avoid the severe quantization loss of the binarization, we propose a convergent updating rule that resolves the challenging discrete optimization of DFM. Through extensive experiments on two real-world datasets, we show that 1) DFM consistently outperforms state-of-the-art binarized recommendation models, and 2) DFM shows very competitive performance compared to its real-valued version (FM), demonstrating the minimized quantization loss. This work is accepted by IJCAI 2018.

研究动机与目标

• 为解决大规模、特征丰富的推荐系统中实数值因子分解机（FM）带来的高计算与存储开销问题。
• 实现在移动设备和资源受限推荐应用中的快速本地推理。
• 在二值化FM参数时最小化量化损失，以保持模型精度。
• 开发端到端的优化框架，用于离散化、平衡且去相关的二值嵌入。
• 在效率与精度方面超越现有的基于哈希和二值化的推荐模型。

提出的方法

• 将实数值特征嵌入矩阵 V ∈ ℝ^{k×n} 二值化为二值矩阵 B ∈ {±1}^{k×n}，以支持位级运算与紧凑存储。
• 提出一种交替优化算法，联合求解在二值化、平衡性与去相关性约束下的离散优化问题。
• 引入一种收敛的更新规则，直接端到端优化二值参数，避免传统先学习后舍入的两阶段方法。
• 在二值空间中使用XOR运算替代浮点乘法，实现用户-物品评分的快速计算。
• 应用去相关性与平衡性约束，确保二值码紧凑且信息丰富，同时保留语义信息。
• 使用C++实现模型，以确保与libFM在相同编译器与硬件环境下的公平效率对比。

实验结果

研究问题

• RQ1 对FM参数进行二值化是否能显著降低推理时间与内存占用，同时保持高推荐精度？
• RQ2 与标准的两阶段方法（先学习实数值参数，再二值化）相比，端到端的离散化二值嵌入优化有何优势？
• RQ3 离散因子分解机在多大程度上可匹配其对应实数值FM的性能？
• RQ4 DFM对超参数（如去相关性约束与正则化）的敏感性如何，相较于现有模型？
• RQ5 在真实世界推荐工作负载中，DFM相较于实数值FM的实际加速比是多少？

主要发现

• 在Yelp和Amazon数据集上，DFM相较于libFM分别实现了平均15.99倍和16.04倍的加速，且在8至64位码长范围内，加速比稳定在约16倍。
• 在Yelp和Amazon数据集上，DFM在NDCG@10指标上均优于最先进的二值化推荐模型，展现出更优的泛化能力与鲁棒性。
• 当去相关性与L2正则化设为零时，DFM在Yelp和Amazon上的性能仅分别下降1.91%与2.05%，而libFM则分别下降10.44%与6.56%，表明DFM对超参数设置具有更强鲁棒性。
• 在两个数据集上，DFM的推荐性能均与实数值FM基线相差不足2%，表明在完全二值化下量化损失极小。
• 所提出的交替优化算法能够收敛，并成功学习到平衡且去相关的二值码，同时保持预测能力。
• DFM在效率与精度之间的权衡使其适用于大规模、移动端及实时推荐系统的部署。