[论文解读] Binarized Collaborative Filtering with Distilling Graph Convolutional Networks

Haoyu Wang, Defu Lian+1 more|arXiv (Cornell University)|Jun 5, 2019

Recommender Systems and Techniques参考文献 24被引用 23

一句话总结

该论文提出DGCN-BinCF，一种新颖的框架，通过知识蒸馏将高阶特征感知图卷积网络（GCN-CF）的排序知识提炼到二值化协同过滤模型中，以加速隐式反馈下的top-K推荐。通过使用随机惩罚项将二值优化问题转化为连续问题，该方法实现了SGD/Adam的高效训练，在三个真实世界数据集上实现了SOTA性能，相比基线模型取得了显著的准确率提升。

ABSTRACT

The efficiency of top-K item recommendation based on implicit feedback are vital to recommender systems in real world, but it is very challenging due to the lack of negative samples and the large number of candidate items. To address the challenges, we firstly introduce an improved Graph Convolutional Network~(GCN) model with high-order feature interaction considered. Then we distill the ranking information derived from GCN into binarized collaborative filtering, which makes use of binary representation to improve the efficiency of online recommendation. However, binary codes are not only hard to be optimized but also likely to incur the loss of information during the training processing. Therefore, we propose a novel framework to convert the binary constrained optimization problem into an equivalent continuous optimization problem with a stochastic penalty. The binarized collaborative filtering model is then easily optimized by many popular solvers like SGD and Adam. The proposed algorithm is finally evaluated on three real-world datasets and shown the superiority to the competing baselines.

研究动机与目标

• 为解决大规模系统中隐式反馈下top-K推荐速度慢的问题，其中负样本稀少且候选物品集合庞大。
• 提升二值化协同过滤的准确性，该方法通常因离散码表示导致信息损失。
• 通过将NP难的二值约束转化为连续可微问题，实现二值码的高效优化。
• 通过新型GCN模型（GCN-CF）利用用户与物品之间的高阶特征交互，增强表征学习。
• 将强大GCN模型的排序知识迁移至轻量级二值化模型，以支持实时推理。

提出的方法

• 提出GCN-CF，一种图卷积网络，通过交叉注意力机制整合用户与物品之间的高阶交互，以增强特征表征。
• 采用知识蒸馏，将预训练GCN-CF模型的排序偏好迁移至二值化协同过滤模型（DGCN-BinCF）。
• 引入一种新颖的蒸馏损失，最小化教师模型与学生模型在正样本分布和负样本分布之间的差异。
• 通过在二值变量上应用随机惩罚项，将二值优化问题重新表述为连续的、带约束的优化问题，从而支持基于梯度的优化。
• 使用SGD和Adam等标准优化器对二值化模型进行端到端训练，克服二值码不可微的问题。
• 应用索引技术（如哈希）实现亚线性或对数时间的近似最近邻搜索，以支持实时top-K推荐。

实验结果

研究问题

• RQ1 基于GCN的模型能否通过捕捉用户-物品之间的高阶交互，改善隐式反馈推荐中的表征学习？
• RQ2 从强大的GCN模型中进行知识蒸馏，能否有效提升二值化协同过滤模型的性能？
• RQ3 尽管二值码具有离散性，是否仍可使用基于梯度的方法实现其高效优化？
• RQ4 所提出的框架是否在推荐准确率上优于现有的二值推荐基线模型？
• RQ5 该模型在不同数据集上的收敛性和鲁棒性表现如何？

主要发现

• DGCN-BinCF在三个数据集（MovieLens1M、MovieLens10M、Yelp）上均取得最高性能，全面超越SOTA基线模型（如DCF、BCCF、PPH）的各项评估指标。
• 在MovieLens1M上，DGCN-BinCF的Recall@100达到0.2405，显著高于DCF（0.0661）、BCCF（0.0966）和PPH（0.0627）。
• 所提出的GCN-CF模型在所有指标上均比SpectralCF提升超过20%，证明了高阶特征聚合的有效性。
• 与不使用蒸馏训练二值化模型相比，蒸馏组件在所有排序指标上带来10%的性能提升，证实其在保留排序知识方面的价值。
• GCN-CF和DGCN-BinCF的训练损失在200个周期内稳定收敛，表明即使在复杂目标下，优化过程依然稳定。
• 带有随机惩罚的连续松弛方法可有效支持使用标准优化器训练二值码，验证了所提出重构方法的有效性。