[论文解读] Modeling Embedding Dimension Correlations via Convolutional Neural Collaborative Filtering

Xiaoyu Du, Xiangnan He+4 more|arXiv (Cornell University)|Jun 26, 2019

Recommender Systems and Techniques参考文献 64被引用 5

一句话总结

本文提出 ConvNCF，一种新颖的神经协同过滤框架，通过在用户和物品嵌入上应用外积生成二维交互图，再利用卷积神经网络（CNN）学习高阶交互关系，从而建模嵌入维度之间的相关性。该方法在真实世界数据集上显著优于现有协同过滤模型，表明显式建模嵌入维度相关性可提升推荐准确率。

ABSTRACT

As the core of recommender system, collaborative filtering (CF) models the affinity between a user and an item from historical user-item interactions, such as clicks, purchases, and so on. Benefited from the strong representation power, neural networks have recently revolutionized the recommendation research, setting up a new standard for CF. However, existing neural recommender models do not explicitly consider the correlations among embedding dimensions, making them less effective in modeling the interaction function between users and items. In this work, we emphasize on modeling the correlations among embedding dimensions in neural networks to pursue higher effectiveness for CF. We propose a novel and general neural collaborative filtering framework, namely ConvNCF, which is featured with two designs: 1) applying outer product on user embedding and item embedding to explicitly model the pairwise correlations between embedding dimensions, and 2) employing convolutional neural network above the outer product to learn the high-order correlations among embedding dimensions. To justify our proposal, we present three instantiations of ConvNCF by using different inputs to represent a user and conduct experiments on two real-world datasets. Extensive results verify the utility of modeling embedding dimension correlations with ConvNCF, which outperforms several competitive CF methods.

研究动机与目标

• 为解决现有神经推荐模型忽略嵌入维度间相关性的问题。
• 通过显式建模嵌入维度间的成对及高阶交互关系，提升协同过滤的表达能力。
• 开发一种可泛化的神经协同过滤框架，在 top-k 推荐任务中超越最先进方法。

提出的方法

• 在用户和物品嵌入之间应用外积，生成捕捉嵌入维度间成对相关性的二维交互图。
• 在交互图之上构建多层卷积神经网络（CNN），以学习嵌入维度间的高阶相关性。
• 设计三种 ConvNCF 的实现变体，采用不同的用户输入表示形式，包括 MF、GMF 和一种混合变体。
• 采用局部连接的 CNN 架构，以更少的参数高效建模交互图中的空间模式，相比全连接网络更具效率。
• 使用随机梯度下降进行端到端训练，利用预训练嵌入加速收敛并提升性能。
• 开展消融研究，验证外积和 CNN 组件相对于 ONCF-mlp 和标准 MLP 模型基线的有效性。

实验结果

研究问题

• RQ1 建模嵌入维度之间的相关性是否能提升推荐系统中协同过滤的性能？
• RQ2 所提出的 ConvNCF 框架在推荐准确率方面与现有神经协同过滤方法相比如何？
• RQ3 在交互图上使用 CNN 而非全连接网络，对学习高阶特征交互的影响是什么？
• RQ4 在微调 ConvNCF 前对嵌入层进行预训练是否能提升性能和收敛速度？
• RQ5 ConvNCF 对 CNN 层中特征图数量的变化有多大的鲁棒性？

主要发现

• ConvNCF 在两个真实世界数据集上优于多种竞争性协同过滤方法，在 top-k 推荐任务中达到最先进性能。
• 基于 CNN 的交互图方法显著优于参数量多出 1000 倍的三层 MLP，证明了局部连接在建模交互图方面的高效性与有效性。
• 模型在训练各轮次中表现稳定且一致，表明其鲁棒性更强，方差低于更深的 MLP 基线模型。
• 增加 CNN 层中的特征图数量可提升性能，且收敛至相近的最优水平，表明模型具有强泛化能力且过拟合风险较低。
• 在微调 ConvNCF 前对嵌入层进行预训练可实现更快收敛和更高性能，证实了从成熟模型初始化表示的价值。
• 消融研究确认，外积和 CNN 组件对性能提升均至关重要，二者对最终推荐准确率均有显著贡献。