[论文解读] Large Multi-modal Encoders for Recommendation

Zixuan Yi, Zijun Long+3 more|arXiv (Cornell University)|Oct 31, 2023

Recommender Systems and Techniques被引用 4

一句话总结

本文研究了将大规模多模态（LMM）编码器——CLIP 和 VLMo——集成到多模态推荐系统中，表明预训练并微调的 LMM 编码器通过实现更深层次的跨模态对齐，显著提升了用户和物品的表征学习能力。研究表明，端到端训练进一步提升了性能，尤其是在使用双流编码器（如 CLIP）时，从而在三个多模态推荐数据集上取得了最先进（SOTA）的结果。

ABSTRACT

In recent years, the rapid growth of online multimedia services, such as e-commerce platforms, has necessitated the development of personalised recommendation approaches that can encode diverse content about each item. Indeed, modern multi-modal recommender systems exploit diverse features obtained from raw images and item descriptions to enhance the recommendation performance. However, the existing multi-modal recommenders primarily depend on the features extracted individually from different media through pre-trained modality-specific encoders, and exhibit only shallow alignments between different modalities - limiting these systems' ability to capture the underlying relationships between the modalities. In this paper, we investigate the usage of large multi-modal encoders within the specific context of recommender systems, as these have previously demonstrated state-of-the-art effectiveness when ranking items across various domains. Specifically, we tailor two state-of-the-art multi-modal encoders (CLIP and VLMo) for recommendation tasks using a range of strategies, including the exploration of pre-trained and fine-tuned encoders, as well as the assessment of the end-to-end training of these encoders. We demonstrate that pre-trained large multi-modal encoders can generate more aligned and effective user/item representations compared to existing modality-specific encoders across three multi-modal recommendation datasets. Furthermore, we show that fine-tuning these large multi-modal encoders with recommendation datasets leads to an enhanced recommendation performance. In terms of different training paradigms, our experiments highlight the essential role of the end-to-end training of large multi-modal encoders in multi-modal recommendation systems.

研究动机与目标

• 为解决现有基于模态专用编码器的多模态推荐系统中跨模态对齐程度较浅的局限性。
• 探究大规模多模态编码器（LMMs），如 CLIP 和 VLMo，是否能提升多模态设置下的表征学习与推荐性能。
• 比较不同训练范式（预训练、微调和端到端训练）在推荐模型中对 LMM 编码器的有效性。
• 分析在 LMM 编码器增强下，视觉与文本模态在多模态推荐中的贡献程度。
• 识别 LMM 编码器与现有推荐模型（如 LATTICE）之间在架构和训练方面可能存在的冲突。

提出的方法

• 本研究将两种最先进的 LMM 编码器——CLIP（双流）和 VLMo（统一）——集成到五个现有的多模态推荐模型中：MMGCL、LATTICE 及其他三个模型。
• 使用预训练的 CLIP 和 VLMo 编码器作为特征提取器，并在每个数据集的物品图像和文本数据上进行微调，以使编码器适应推荐任务。
• 论文评估了三种训练范式：(1) 仅使用预训练编码器，(2) 在推荐数据上对编码器进行微调，(3) 对包含 LMM 编码器的整个模型进行端到端训练。
• 通过 CLIP 和 VLMo 内在的对比学习目标增强跨模态对齐，将视觉和文本特征联合嵌入到共享空间中。
• 使用标准指标（如 NDCG@20 和 Recall@K）在三个多模态推荐数据集（Amazon Sports、Amazon Clothing 和 Amazon Baby）上评估性能。
• 开展模态贡献分析，比较仅使用视觉、仅使用文本或同时使用两种模态作为输入时的性能，无论是否使用 LMM 编码器。

实验结果

研究问题

• RQ1 RQ1：与模态专用编码器相比，预训练的大规模多模态编码器（CLIP 和 VLMo）是否能提升多模态推荐模型的性能？
• RQ2 RQ2：在推荐数据集上对 LMM 编码器进行微调如何影响推荐性能？
• RQ3 RQ3：不同的训练范式（两步法：预训练 + 微调 vs. 端到端训练）对 LMM 编码器在多模态推荐中的有效性有何影响？
• RQ4 RQ4：LMM 编码器在多模态推荐中在多大程度上增强了单个模态（视觉与文本）的贡献？
• RQ5 RQ5：LMM 编码器与某些推荐模型（如 LATTICE）之间是否存在架构冲突，这些冲突如何影响性能？

主要发现

• 在 120 项测试案例中，预训练的 CLIP 和 VLMo 编码器在 79% 的情况下优于模态专用编码器，显著提升了跨模态对齐与表征质量。
• 在推荐数据集上对 LMM 编码器进行微调进一步提升了性能，证实了领域特定适配的优势。
• 对 CLIP（双流编码器）进行端到端训练显著提升了所有模型的性能，尤其有效解决了与 LATTICE 等模型之间的概念性冲突。
• 相比之下，VLMo（统一编码器）在端到端训练中未表现出同等性能提升，表明架构差异影响了训练动态。
• 在同时使用视觉与文本模态时，LMM 编码器的集成始终提升了性能，且在所有数据集上 NDCG@20 指标均呈现统计显著提升（p < 0.05）。
• 模态贡献分析表明，LMM 编码器实现了更深层次的对齐，使多模态融合比单模态输入更有效，即使基线模型在融合特征下表现不佳。