[论文解读] Learning to Hash with Graph Neural Networks for Recommender Systems

Qiaoyu Tan, Ninghao Liu+4 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Image and Video Retrieval Techniques参考文献 53被引用 12

一句话总结

本文提出 HashGNN，一种新颖的端到端框架，通过图神经网络联合学习连续图嵌入与离散二进制哈希码，以实现高效的推荐召回。通过引入一种引导式直通估计器以稳定训练过程，并同时优化链接重建与排序保持，HashGNN 在实现与连续模型相当性能的同时，将推理速度提升数倍。

ABSTRACT

Graph representation learning has attracted much attention in supporting high quality candidate search at scale. Despite its effectiveness in learning embedding vectors for objects in the user-item interaction network, the computational costs to infer users' preferences in continuous embedding space are tremendous. In this work, we investigate the problem of hashing with graph neural networks (GNNs) for high quality retrieval, and propose a simple yet effective discrete representation learning framework to jointly learn continuous and discrete codes. Specifically, a deep hashing with GNNs (HashGNN) is presented, which consists of two components, a GNN encoder for learning node representations, and a hash layer for encoding representations to hash codes. The whole architecture is trained end-to-end by jointly optimizing two losses, i.e., reconstruction loss from reconstructing observed links, and ranking loss from preserving the relative ordering of hash codes. A novel discrete optimization strategy based on straight through estimator (STE) with guidance is proposed. The principal idea is to avoid gradient magnification in back-propagation of STE with continuous embedding guidance, in which we begin from learning an easier network that mimic the continuous embedding and let it evolve during the training until it finally goes back to STE. Comprehensive experiments over three publicly available and one real-world Alibaba company datasets demonstrate that our model not only can achieve comparable performance compared with its continuous counterpart but also runs multiple times faster during inference.

研究动机与目标

• 为解决大规模推荐系统召回阶段中连续嵌入推理效率低下的问题。
• 弥合高质量连续嵌入与高效二进制哈希之间的差距，以实现可扩展的检索。
• 实现基于图神经网络的深度哈希端到端训练，克服符号函数不可微性的问题。
• 在哈希码中保持相对排序顺序，以确保汉明空间检索的有效性。
• 提出一种稳定的优化策略，避免离散哈希训练中的梯度噪声。

提出的方法

• 采用双流架构：图神经网络编码器用于学习连续节点表征，哈希层通过符号函数将表征映射为二进制码。
• 联合优化两种损失：重建损失用于恢复观测到的用户-物品交互，排序损失用于保持哈希码的相对相似性排序。
• 提出一种新型引导式直通估计器（STE），利用连续嵌入信号以稳定通过符号函数的梯度反向传播。
• 动态调整超参数 $p$，逐步从连续优化过渡到离散优化，从而提升训练稳定性和收敛性。
• 使用三元组（用户，正样本物品，负样本物品）构建排序损失的排序信号。
• 模型通过反向传播进行端到端训练，其中引导式 STE 确保尽管符号运算不可微，仍能实现有效的梯度流动。

实验结果

研究问题

• RQ1 基于图神经网络的深度哈希能否在实现与连续嵌入相当性能的同时，实现更快的推理速度？
• RQ2 在端到端哈希训练中，如何通过不可微的符号函数稳定梯度流动？
• RQ3 在哈希码中保持相对排序顺序是否能提升汉明空间中的检索有效性？
• RQ4 优化轨迹的动态调整如何影响模型收敛性与性能？
• RQ5 所提方法能否灵活扩展至推荐系统中各类图神经网络架构？

主要发现

• HashGNN 在三个公开数据集和一个真实世界的阿里巴巴数据集上，检索性能与连续 GNN 对应模型相当。
• 由于使用紧凑的二进制码，模型在推理阶段的运行速度比基于连续嵌入的方法快数倍。
• 与标准 STE 相比，引导式直通估计器显著提升了训练稳定性和性能，有效减少了梯度噪声。
• 与固定 $p$ 相比，动态调整超参数 $p$ 能获得更优性能，因其将困难的离散优化分解为更易处理的子任务。
• 模型对三元组数量变化具有鲁棒性，当每个用户使用 4–10 个三元组时性能达到最优。
• 增加哈希码维度 $K$ 可提升性能，尤其在 $K$ 较小时增益显著，但随着 $K$ 增大，性能提升趋于平缓。