[论文解读] Latent Structures Mining with Contrastive Modality Fusion for Multimedia Recommendation.

Jinghao Zhang, Yanqiao Zhu+4 more|arXiv (Cornell University)|Nov 1, 2021

Recommender Systems and Techniques参考文献 36被引用 6

一句话总结

本文提出 MICRO，一种新颖的多模态推荐框架，通过挖掘模态特定的潜在物品-物品结构并采用对比模态融合来增强物品表征学习。通过整合模态感知图卷积与对比特征融合，MICRO 在真实世界数据集上优于最先进方法，通过更优建模多模态内容与物品关系，实现了更高的推荐准确率。

ABSTRACT

Recent years have witnessed growing interests in multimedia recommendation, which aims to predict whether a user will interact with an item with multimodal contents. Previous studies focus on modeling user-item interactions with multimodal features included as side information. However, this scheme is not well-designed for multimedia recommendation. Firstly, only collaborative item-item relationships are implicitly modeled through high-order item-user-item co-occurrences. We argue that the latent semantic item-item structures underlying these multimodal contents could be beneficial for learning better item representations and assist the recommender models to comprehensively discover candidate items. Secondly, previous studies disregard the fine-grained multimodal fusion. Although having access to multiple modalities might allow us to capture rich information, we argue that the simple coarse-grained fusion by linear combination or concatenation in previous work is insufficient to fully understand content information and item relationships.To this end, we propose a latent structure MIning with ContRastive mOdality fusion method (MICRO for brevity). To be specific, we devise a novel modality-aware structure learning module, which learns item-item relationships for each modality. Based on the learned modality-aware latent item relationships, we perform graph convolutions that explicitly inject item affinities to modality-aware item representations. Then, we design a novel contrastive method to fuse multimodal features. These enriched item representations can be plugged into existing collaborative filtering methods to make more accurate recommendations. Extensive experiments on real-world datasets demonstrate the superiority of our method over state-of-the-art baselines.

研究动机与目标

• 为解决现有多模态推荐方法未能显式建模单一模态内潜在语义物品-物品关系的局限性。
• 为克服粗粒度多模态融合（如拼接或线性组合）在捕捉模态间细粒度交互方面的不足。
• 通过图卷积网络整合模态感知的物品亲和性，以改善物品表征学习。
• 通过对比学习策略增强特征融合，以保留判别性语义信息。
• 开发一种即插即用模块，兼容现有协同过滤模型，以提升推荐性能。

提出的方法

• 提出一种模态感知结构学习模块，通过学习到的注意力或亲和矩阵，显式建模每种模态的物品-物品关系。
• 在模态特定的物品亲和图上应用图卷积网络（GCNs），通过注入潜在物品亲和性来优化物品表征。
• 设计一种基于对比学习的融合机制，使跨模态的正样本对对齐，同时将负样本对分开，以增强特征判别性。
• 使用对比损失函数，促使同一物品的模态特定表征更相似，而不同物品的表征更不相似。
• 将增强的多模态表征整合到标准协同过滤框架中，实现端到端的推荐训练。
• 采用双流架构，各模态在融合前独立处理，支持模态特定结构挖掘与联合表征学习。

实验结果

研究问题

• RQ1 建模模态特定的潜在物品-物品关系是否能提升多模态推荐中的物品表征学习？
• RQ2 对比融合多模态特征是否能带来优于传统拼接或线性融合的表征质量？
• RQ3 与基线协同过滤方法相比，模态感知图卷积的集成对推荐性能有何影响？
• RQ4 所提方法在真实世界数据集上相较于最先进多模态推荐模型的性能提升程度如何？
• RQ5 所提框架是否能有效嵌入现有协同过滤模型中，而无需进行架构重构？

主要发现

• MICRO 在多个真实世界多模态推荐数据集上优于最先进基线方法。
• 消融实验确认，模态感知结构学习与对比融合均对性能提升有显著贡献。
• 通过模态特定图卷积，模型能更好地捕捉细粒度物品关系，提升表征质量。
• 对比融合带来更具判别性的多模态嵌入，增强模型区分相似物品的能力。
• 该方法在多个数据集上不同评估指标（包括 Recall、NDCG 和 Precision）上均表现出一致性能提升。
• 即插即用设计使 MICRO 能无缝集成到现有协同过滤模型中，并带来可测量的性能改进。