[论文解读] M5Product: A Multi-modal Pretraining Benchmark for E-commercial Product Downstream Tasks

Xiao Dong, Xunlin Zhan+3 more|arXiv (Cornell University)|Jan 1, 2021

Multimodal Machine Learning Applications参考文献 53被引用 6

一句话总结

本文提出了 M5Product，一个大规模多模态预训练基准，包含超过 600 万个图像-文本-表格-视频-音频配对，覆盖 6,000 个类别和 5,000 个属性，旨在支持电子商务下游任务。该研究提出了 M5-MMT 模型以实现统一的多模态特征融合，并在四个下游任务上进行了广泛评估，展示了出色的性能以及对模态交互的深入洞察。

ABSTRACT

In this paper, we aim to advance the research of multi-modal pre-training on E-commerce and subsequently contribute a large-scale dataset, named M5Product, which consists of over 6 million multimodal pairs, covering more than 6,000 categories and 5,000 attributes. Generally, existing multi-modal datasets are either limited in scale or modality diversity. Differently, our M5Product is featured from the following aspects. First, the M5Product dataset is 500 times larger than the public multimodal dataset with the same number of modalities and nearly twice larger compared with the largest available text-image cross-modal dataset. Second, the dataset contains rich information of multiple modalities including image, text, table, video and audio, in which each modality can capture different views of semantic information (e.g. category, attributes, affordance, brand, preference) and complements the other. Third, to better accommodate with real-world problems, a few portion of M5Product contains incomplete modality pairs and noises while having the long-tailed distribution, which aligns well with real-world scenarios. Finally, we provide a baseline model M5-MMT that makes the first attempt to integrate the different modality configuration into an unified model for feature fusion to address the great challenge for semantic alignment. We also evaluate various multi-model pre-training state-of-the-arts for benchmarking their capabilities in learning from unlabeled data under the different number of modalities on the M5Product dataset. We conduct extensive experiments on four downstream tasks and provide some interesting findings on these modalities. Our dataset and related code are available at this https URL.

研究动机与目标

• 解决电子商务预训练中缺乏大规模、多样化且真实的多模态数据集的问题。
• 开发一种统一的多模态模型，能够融合异构模态（图像、文本、表格、视频、音频）以实现语义对齐。
• 在真实、长尾分布且模态不完整的数据集上评估最先进多模态预训练方法的表现。
• 为在现实电子商务场景中不同模态数量下的多模态学习提供基准评估。

提出的方法

• 构建 M5Product 数据集，包含超过 600 万个覆盖 6,000 个类别和 5,000 个属性的多模态配对。
• 整合多样化模态——图像、文本、表格、视频和音频——每种模态提供独特的语义视角（如品牌、属性、功能）。
• 设计 M5-MMT 模型，将多种模态配置整合到单一架构中，实现端到端的特征融合。
• 包含模态缺失和噪声样本，以反映真实世界的数据分布，包括长尾分布的类别和属性频率。
• 使用 M5Product 基准对多种最先进多模态预训练模型在四个下游任务上的表现进行评估。
• 通过广泛的消融实验分析在不同模态可用性条件下，各模态的贡献及融合策略。

实验结果

研究问题

• RQ1 在大规模、真实的电子商务数据集上，多模态预训练模型的性能如何随输入模态数量的变化而变化？
• RQ2 模态的完整性与噪声对真实电子商务场景中多模态表征学习有何影响？
• RQ3 统一模型架构在融合异构模态（图像、文本、表格、视频、音频）以实现语义对齐方面的有效性如何？
• RQ4 不同模态（如图像与音频）对下游电子商务任务性能的相对贡献是什么？
• RQ5 类别和属性的长尾分布如何影响多模态模型的泛化能力？

主要发现

• M5Product 的规模是同类公开多模态数据集的 500 倍，且在相同模态数量下，接近现有最大文本-图像数据集的两倍大小。
• 与单模态或双模态设置相比，引入五种模态（图像、文本、表格、视频、音频）显著提升了语义表征学习效果。
• 在 M5Product 上训练的模型对模态缺失和噪声输入表现出更强的鲁棒性，更贴近真实部署环境。
• M5-MMT 模型在四个下游任务中均表现出色，证明了统一多模态融合的有效性。
• 实验结果表明，某些模态（如图像和文本）在不同任务中贡献更稳定，而视频或音频的贡献则更具任务依赖性。
• 该基准揭示，当模态数量超过某一临界点后，增加模态带来的性能增益逐渐减弱，提示模型复杂度与数据效率之间存在权衡。