[论文解读] Bootstrap Latent Representations for Multi-modal Recommendation

Xin Zhou, Hongyu Zhou+6 more|arXiv (Cornell University)|Jul 13, 2022

Topic Modeling被引用 11

一句话总结

该论文提出BM3，一种自监督多模态推荐模型，通过潜在嵌入丢弃来生成对比视图，从而消除负采样和辅助图的需求。它联合优化交互图重建、跨模态对齐和模态内特征掩码，实现在20K–200K个节点的数据集上SOTA精度，且训练速度提升2–9倍。

ABSTRACT

This paper studies the multi-modal recommendation problem, where the item multi-modality information (e.g., images and textual descriptions) is exploited to improve the recommendation accuracy. Besides the user-item interaction graph, existing state-of-the-art methods usually use auxiliary graphs (e.g., user-user or item-item relation graph) to augment the learned representations of users and/or items. These representations are often propagated and aggregated on auxiliary graphs using graph convolutional networks, which can be prohibitively expensive in computation and memory, especially for large graphs. Moreover, existing multi-modal recommendation methods usually leverage randomly sampled negative examples in Bayesian Personalized Ranking (BPR) loss to guide the learning of user/item representations, which increases the computational cost on large graphs and may also bring noisy supervision signals into the training process. To tackle the above issues, we propose a novel self-supervised multi-modal recommendation model, dubbed BM3, which requires neither augmentations from auxiliary graphs nor negative samples. Specifically, BM3 first bootstraps latent contrastive views from the representations of users and items with a simple dropout augmentation. It then jointly optimizes three multi-modal objectives to learn the representations of users and items by reconstructing the user-item interaction graph and aligning modality features under both inter- and intra-modality perspectives. BM3 alleviates both the need for contrasting with negative examples and the complex graph augmentation from an additional target network for contrastive view generation. We show BM3 outperforms prior recommendation models on three datasets with number of nodes ranging from 20K to 200K, while achieving a 2-9X reduction in training time. Our code is available at https://github.com/enoche/BM3.

研究动机与目标

• 解决在大规模用户-物品交互图中，贝叶斯个性化排序（BPR）损失的负采样带来的高计算成本问题。
• 降低现有基于图神经网络（GNN）的多模态推荐方法中使用的辅助图（如用户-用户或物品-物品）带来的内存和计算开销。
• 开发一种自监督框架，通过从潜在表示中生成对比视图而无需额外网络，避免平凡解和噪声监督。
• 通过统一目标联合优化多模态对齐和交互图重建，以增强表示学习。
• 在大规模多模态数据集上实现SOTA推荐精度，同时显著缩短训练时间。

提出的方法

• 通过在用户和物品的潜在嵌入上应用随机丢弃来生成对比视图，替代复杂的数据增强或目标网络。
• 引入一种多模态对比损失，联合最小化：(1) 用户-物品交互图重建损失，(2) 物品ID嵌入与其多模态特征之间的跨模态对齐损失，以及(3) 针对模态特异性特征的模态内特征掩码损失。
• 模型使用图神经网络（GNN）主干网络来传播和聚合表示，对比视图的生成仅依赖于通过丢弃实现的潜在空间扰动。
• 通过仅使用正样本的对比学习避免负采样，其中对比信号来自同一样本的不同扰动视图。
• 正则化系数和丢弃率作为超参数进行调优，以在不同数据集上平衡表示稳定性与性能。
• 在三个真实世界数据集上端到端评估该方法，包括一个最大节点数达200K的大规模电子商品数据集。

实验结果

研究问题

• RQ1 自监督多模态推荐模型能否在不使用负采样的情况下，仍保持或提升BPR损失中的推荐精度？
• RQ2 能否在不依赖辅助网络或复杂数据增强的情况下，从潜在嵌入中有效生成对比视图？
• RQ3 联合优化交互图重建、跨模态对齐和模态内掩码是否能提升多模态推荐中的表示学习？
• RQ4 所提方法在不同规模数据集上的性能表现如何，特别是在大规模图上？
• RQ5 不同损失组件对模型性能的影响如何？它们在小规模和大规模数据集上的表现有何差异？

主要发现

• BM3在三个真实世界数据集上均达到SOTA性能，包括最大节点数达200K的大规模电子商品数据集。
• 与基线方法相比，该模型将训练时间减少了2–9倍，表明在大规模图上具有显著的效率优势。
• 在电子商品数据集上，即使未使用显式的多模态信号，BM3仍优于现有方法，表明自监督目标可学习到强大的表示。
• 消融研究显示，跨模态对齐损失和模态内掩码损失在小数据集上对性能至关重要，而在大规模数据集上其贡献减弱，此时监督信号占主导地位。
• 该模型对超参数设置具有鲁棒性，在丢弃率高于0.2且正则化系数变化时均保持稳定性能，尤其在大规模数据上表现优异。
• 在无多模态信号的BM3（BM3 w/o mm）在电子商品数据集上已具备竞争力，表明仅靠自监督信号即可生成强大表示。