[论文解读] Disentangled Multimodal Representation Learning for Recommendation

Fan Liu, Huilin Chen+4 more|arXiv (Cornell University)|Mar 10, 2022

Recommender Systems and Techniques被引用 8

一句话总结

本文提出了一种新型推荐模型——解耦多模态表征学习（DMRL），该模型在不同模态（如文本、图像）之间解耦物品因子，并通过多模态注意力机制建模用户特定的模态偏好。在五个真实世界数据集上的实验表明，DMRL 通过在因子层面有效捕捉个性化模态贡献，显著优于当前最先进方法。

ABSTRACT

Many multimodal recommender systems have been proposed to exploit the rich side information associated with users or items (e.g., user reviews and item images) for learning better user and item representations to improve the recommendation performance. Studies from psychology show that users have individual differences in the utilization of various modalities for organizing information. Therefore, for a certain factor of an item (such as appearance or quality), the features of different modalities are of varying importance to a user. However, existing methods ignore the fact that different modalities contribute differently towards a user's preference on various factors of an item. In light of this, in this paper, we propose a novel Disentangled Multimodal Representation Learning (DMRL) recommendation model, which can capture users' attention to different modalities on each factor in user preference modeling. In particular, we employ a disentangled representation technique to ensure the features of different factors in each modality are independent of each other. A multimodal attention mechanism is then designed to capture users' modality preference for each factor. Based on the estimated weights obtained by the attention mechanism, we make recommendations by combining the preference scores of a user's preferences to each factor of the target item over different modalities. Extensive evaluation on five real-world datasets demonstrate the superiority of our method compared with existing methods.

研究动机与目标

• 为解决现有多模态推荐系统对所有模态一视同仁的局限性，忽略用户在不同物品因子上对不同模态的特定偏好。
• 建模用户在评估物品的不同方面（如质量与外观）时，对不同模态（如文本与图像）的优先级分配方式。
• 在每种模态内对物品的不同因子进行解耦表征，以确保特征学习的独立性与可解释性。
• 通过反映用户特定模态偏好的注意力权重，结合模态特定的偏好得分，提升推荐性能。
• 通过消融研究与对比实验，验证解耦表征与模态偏好建模的有效性。

提出的方法

• 该模型采用解耦表征学习，将每种模态的特征分解为独立因子（如质量、外观），确保因子之间无干扰。
• 引入多模态注意力机制，学习用户特定的注意力权重，以指示每种模态对用户在该因子上偏好的贡献程度。
• 针对每个因子，利用学习到的注意力权重对模态特定的表征进行加权组合，生成个性化偏好得分。
• 最终推荐得分通过聚合所有因子与模态的偏好得分获得，注意力权重根据用户动态调整。
• 模型通过联合损失函数端到端训练，同时优化用户-物品交互预测与解耦表征学习。
• 消融研究通过移除组件并比较性能，评估模态注意力、解耦性以及用户特定偏好建模的影响。

实验结果

研究问题

• RQ1 与统一的多模态融合相比，按物品因子建模用户特定模态偏好在多大程度上提升了推荐性能？
• RQ2 在每种模态内对物品因子进行解耦，在多大程度上提升了表征质量与推荐准确率？
• RQ3 在不同物品因子上，文本、视觉及其他模态对用户偏好的相对贡献如何？
• RQ4 解耦因子的数量如何影响模型性能，最优因子数量是多少？
• RQ5 所提出的模型是否能在真实世界数据集上超越当前最先进多模态与解耦推荐方法？

主要发现

• DMRL 在五个真实世界数据集上均显著优于最先进方法，证明在因子层面建模模态偏好具有有效性。
• 消融研究显示，移除用户特定模态注意力（DMRL w/o u）导致性能下降，证实个性化建模的重要性。
• 在大多数数据集上，DMRL v（仅视觉）在 Recall@20 上优于 DMRL t（仅文本），表明视觉特征对偏好建模更具影响力。
• 当解耦因子数为 2 或 4 时，模型表现最佳；在 K=8 时性能下降，表明小嵌入维度下表达能力有限。
• DMRL w/o a（无注意力）甚至低于单模态基线，凸显注意力加权模态融合的必要性。
• 在 Sports 数据集上，全模态方法表现劣于部分模态方法，表明多模态融合可能存在不一致性或噪声，需进一步研究。