[论文解读] MM-Rec: Multimodal News Recommendation

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 15, 2021

Multimodal Machine Learning Applications参考文献 25被引用 10

一句话总结

MM-Rec 提出了一种多模态新闻推荐框架，通过使用预训练的视觉语言模型联合编码新闻标题和图像感兴趣区域（ROIs），利用协同注意力 Transformer 捕捉跨模态相关性。该方法进一步采用跨模态候选感知注意力网络，基于多模态相关性选择相关的历史点击新闻来建模用户兴趣，在真实世界数据上显著优于仅使用文本的基线模型，推荐性能得到提升。

ABSTRACT

Accurate news representation is critical for news recommendation. Most of existing news representation methods learn news representations only from news texts while ignore the visual information in news like images. In fact, users may click news not only because of the interest in news titles but also due to the attraction of news images. Thus, images are useful for representing news and predicting user behaviors. In this paper, we propose a multimodal news recommendation method, which can incorporate both textual and visual information of news to learn multimodal news representations. We first extract region-of-interests (ROIs) from news images via object detection. Then we use a pre-trained visiolinguistic model to encode both news texts and news image ROIs and model their inherent relatedness using co-attentional Transformers. In addition, we propose a crossmodal candidate-aware attention network to select relevant historical clicked news for accurate user modeling by measuring the crossmodal relatedness between clicked news and candidate news. Experiments validate that incorporating multimodal news information can effectively improve news recommendation.

研究动机与目标

• 为解决现有新闻推荐系统仅依赖文本内容、忽略新闻图片中视觉线索的局限性。
• 建模新闻标题与图像区域之间的跨模态相关性，以改善新闻表征学习。
• 开发一种用户建模机制，基于候选新闻与历史点击新闻之间的多模态相关性，选择最相关的点击新闻。
• 验证引入视觉信息是否能提升点击预测和推荐准确率。
• 证明预训练视觉语言模型在学习联合文本与视觉表征方面对新闻推荐的有效性。

提出的方法

• 使用预训练的 Mask R-CNN 模型从新闻图片中提取感兴趣区域（ROIs）。
• 使用预训练的视觉语言模型（ViLBERT）编码新闻标题和图像 ROIs，以学习多模态表征。
• 应用协同注意力 Transformer 模型，以捕捉新闻文本与图像 ROIs 之间的内在跨模态相关性。
• 设计一种跨模态候选感知注意力网络，利用多模态嵌入计算候选新闻与每条点击新闻之间的相关性。
• 利用所选的相关点击新闻建模候选新闻的用户兴趣，实现精准个性化。
• 使用排序损失端到端训练模型，以优化点击预测性能。

实验结果

研究问题

• RQ1 将新闻图片中的视觉信息纳入模型是否能提升新闻表征和推荐性能？
• RQ2 建模新闻文本与图像 ROIs 之间的跨模态相关性，对表征质量和推荐准确率有何影响？
• RQ3 与标准注意力机制相比，利用多模态相关性的候选感知注意力机制是否能提升用户兴趣建模效果？
• RQ4 在多模态新闻表征学习中，文本特征与视觉特征的相对贡献如何？
• RQ5 协同注意力机制与跨模态注意力网络相比基线方法，在捕捉跨模态交互方面表现如何？

主要发现

• MM-Rec 在 MIND 数据集上达到 64.96% 的命中率，性能达到当前最先进水平，显著优于仅使用文本的基线模型（如 NRMS 和 PLM-NR）。
• 消融实验表明，文本和视觉模态均不可或缺，任一模态的移除都会导致性能下降。
• 协同注意力 Transformer 机制通过有效建模新闻标题与图像区域之间的相互作用，提升了模型性能。
• 跨模态候选感知注意力网络通过基于多模态相似性仅选择最相关的点击新闻，增强了用户兴趣建模能力。
• 即使不输入图像，MM-Rec 的变体仍优于 PLM-NR 基线，表明视觉信号整合提升了文本理解能力，得益于视觉语言预训练。
• 案例研究显示，MM-Rec 能够将多模态相关的新闻（如与 NFL 相关）排在更高位置，而仅使用文本的模型则无法仅从标题中检测到此类相关性。