[论文解读] COMET: Convolutional Dimension Interaction for Collaborative Filtering

Zhuoyi Lin, Lei Feng+5 more|arXiv (Cornell University)|Jul 28, 2020

Recommender Systems and Techniques参考文献 33被引用 4

一句话总结

COMET 提出了一种新颖的协同过滤模型，通过在堆叠的嵌入图上使用卷积神经网络（CNNs），捕捉历史用户-物品交互行为与嵌入维度之间的高阶交互。通过同时建模内部（交互级别）和维度级别（嵌入级别）的交互，COMET 在隐式反馈数据集上的推荐性能优于当前最先进方法。

ABSTRACT

Representation learning-based recommendation models play a dominant role among recommendation techniques. However, most of the existing methods assume both historical interactions and embedding dimensions are independent of each other, and thus regrettably ignore the high-order interaction information among historical interactions and embedding dimensions. In this paper, we propose a novel representation learning-based model called COMET (COnvolutional diMEnsion inTeraction), which simultaneously models the high-order interaction patterns among historical interactions and embedding dimensions. To be specific, COMET stacks the embeddings of historical interactions horizontally at first, which results in two "embedding maps". In this way, internal interactions and dimensional interactions can be exploited by convolutional neural networks (CNN) with kernels of different sizes simultaneously. A fully-connected multi-layer perceptron (MLP) is then applied to obtain two interaction vectors. Lastly, the representations of users and items are enriched by the learnt interaction vectors, which can further be used to produce the final prediction. Extensive experiments and ablation studies on various public implicit feedback datasets clearly demonstrate the effectiveness and rationality of our proposed method.

研究动机与目标

• 为了解决现有基于表示学习的推荐模型忽略历史交互与嵌入维度之间高阶交互的局限性。
• 同时建模内部交互模式（历史交互之间）和维度交互模式（嵌入维度之间）。
• 通过引入学习到的交互信号来增强用户和物品的表示，而无需依赖评论或知识图谱等辅助数据。
• 证明卷积网络在捕捉协同过滤中复杂高阶交互模式方面的有效性。

提出的方法

• 将用户或物品历史交互的嵌入水平堆叠，形成两个‘嵌入图’，以编码交互级别和维度级别的模式。
• 使用多种卷积核大小的卷积神经网络（CNNs）从两个嵌入图中提取高阶交互信号。
• 使用全连接的多层感知机（MLP）处理CNN输出，为用户和物品生成两个交互向量。
• 在计算最终预测分数前，通过将原始用户和物品表示与学习到的交互向量拼接，来丰富原始表示。
• 使用随机梯度下降并结合L2正则化进行端到端训练，以防止过拟合。
• 通过CNN核隐式地利用外积操作，以参数高效的方式建模成对及更高阶的维度交互。

实验结果

研究问题

• RQ1 建模历史交互与嵌入维度之间的高阶交互是否能提升协同过滤中的推荐性能？
• RQ2 在隐式反馈设置中，内部（交互级别）和维度（嵌入级别）交互如何贡献于表示学习？
• RQ3 原始表示与学习到的交互向量对最终预测准确率的相对贡献是什么？
• RQ4 所提出方法对超参数（如嵌入大小、正则化和CNN通道数）的敏感性如何？

主要发现

• 在多个公开的隐式反馈数据集上，COMET 在 HR@10 和 NDCG@10 指标上均优于当前最先进模型。
• 消融实验表明，将原始表示与学习到的交互向量结合可获得最佳性能，证实了交互感知表示学习的价值。
• 随着嵌入大小增加，模型性能持续提升，表明更丰富的表示有助于学习。
• 最优正则化参数位于 [5e-6, 1e-5] 范围内，能有效平衡过拟合与欠拟合。
• 在不同CNN通道数下性能保持稳定，表明基于CNN的交互建模具有鲁棒性和强表达能力。
• 训练损失随训练轮次稳定收敛，表明所提出架构的优化过程稳定且高效。