[论文解读] Multi-modal Embedding Fusion-based Recommender

Anna Wróblewska, Jacek Dąbrowski+6 more|arXiv (Cornell University)|May 13, 2020

Recommender Systems and Techniques参考文献 12被引用 6

一句话总结

本文提出了一种基于多模态嵌入融合的推荐系统，通过深度学习整合多种交互类型（如点击、购买）和属性模态（如文本、图像、音频），以提升推荐准确率。该系统在公开基准测试中达到最先进水平，并在真实电商部署中实现平均订单大小20–30%的提升，平均订单价值10–60%的增益。

ABSTRACT

Recommendation systems have lately been popularized globally, with primary use cases in online interaction systems, with significant focus on e-commerce platforms. We have developed a machine learning-based recommendation platform, which can be easily applied to almost any items and/or actions domain. Contrary to existing recommendation systems, our platform supports multiple types of interaction data with multiple modalities of metadata natively. This is achieved through multi-modal fusion of various data representations. We deployed the platform into multiple e-commerce stores of different kinds, e.g. food and beverages, shoes, fashion items, telecom operators. Here, we present our system, its flexibility and performance. We also show benchmark results on open datasets, that significantly outperform state-of-the-art prior work.

研究动机与目标

• 解决现有推荐系统仅处理单一交互类型或模态的局限性。
• 实现文本、图像、视频、音频及行为信号等多种数据模态在统一推荐框架中的无缝集成。
• 构建可扩展、模块化的平台，支持在不同电商领域中快速部署和评估多种推荐算法。
• 通过可学习的深度神经网络架构融合多模态嵌入，提升推荐效果。
• 在公开数据集和真实电商应用场景中展示卓越性能，并对关键绩效指标（如平均订单大小和价值）产生可衡量的业务影响。

提出的方法

• 使用多模态嵌入将不同数据类型（文本、图像、音频、行为序列）表示在共享潜在空间中。
• 应用可学习的融合机制，整合来自不同模态的嵌入，实现有效的跨模态交互与表征学习。
• 设计模块化、面向服务的架构，支持新数据源、算法和评估流水线的动态集成。
• 利用深度学习模型——特别是针对视觉和序列推荐任务定制的模型——在多视图、多模态数据上进行端到端训练。
• 实现统一框架，支持会话级与长期用户偏好建模，同时支持冷启动和交叉销售推荐。
• 利用无监督预训练和嵌入的加法可组合性，实现高效且可扩展的推理与泛化。

实验结果

研究问题

• RQ1 如何有效融合来自多样化数据源（文本、图像、音频、行为）的多模态嵌入，以提升推荐质量？
• RQ2 所提出的融合框架在推荐任务的公开基准数据集上，相较于最先进方法的性能提升程度如何？
• RQ3 该系统能否在不同电商领域（如时尚、食品、电信）中实现良好泛化，且仅需极少配置调整？
• RQ4 该系统在真实世界中的业务影响如何，特别是在平均订单大小和价值等关键绩效指标方面？
• RQ5 该系统如何应对冷启动场景以及线上线下渠道中用户行为的动态变化？

主要发现

• 在多个电商平台的A/B测试中，系统实现平均订单大小（AOS）提升20–30%，平均订单价值（AOV）提升10–60%。
• 在公开推荐数据集上，该模型显著优于最先进基线方法，展现出更强的泛化能力和鲁棒性。
• 由于系统采用模块化且API灵活的架构，新电商店铺的部署可在约一个工作日内完成。
• 该平台成功支持多种推荐场景，包括个性化推荐、视觉相似商品推荐以及互补商品推荐。
• 推荐分析工具提供用户参与度（如浏览和点击的推荐）的实时、可自定义可视化，支持性能监控。
• 系统能有效处理多模态输入——包括音频、视频、图像和行为序列——实现比单模态系统更丰富的上下文建模。