[论文解读] Multi-Modal Attribute Extraction for E-Commerce

Aloïs De la Comble, Anuvabh Dutt+2 more|arXiv (Cornell University)|Mar 7, 2022

Web Data Mining and Analysis被引用 6

一句话总结

本文提出了一种用于电子商务中多模态产品属性提取的新型模态注意力机制，通过可学习的注意力权重结合文本和图像特征，动态优先选择每种产品最具有信息量的模态。此外，还引入了一种合理的正则化方案以缓解模态崩溃问题，在Rakuten-Ichiba和公开基准数据集上实现了最先进性能，并成功投入生产环境。

ABSTRACT

To improve users' experience as they navigate the myriad of options offered by online marketplaces, it is essential to have well-organized product catalogs. One key ingredient to that is the availability of product attributes such as color or material. However, on some marketplaces such as Rakuten-Ichiba, which we focus on, attribute information is often incomplete or even missing. One promising solution to this problem is to rely on deep models pre-trained on large corpora to predict attributes from unstructured data, such as product descriptive texts and images (referred to as modalities in this paper). However, we find that achieving satisfactory performance with this approach is not straightforward but rather the result of several refinements, which we discuss in this paper. We provide a detailed description of our approach to attribute extraction, from investigating strong single-modality methods, to building a solid multimodal model combining textual and visual information. One key component of our multimodal architecture is a novel approach to seamlessly combine modalities, which is inspired by our single-modality investigations. In practice, we notice that this new modality-merging method may suffer from a modality collapse issue, i.e., it neglects one modality. Hence, we further propose a mitigation to this problem based on a principled regularization scheme. Experiments on Rakuten-Ichiba data provide empirical evidence for the benefits of our approach, which has been also successfully deployed to Rakuten-Ichiba. We also report results on publicly available datasets showing that our model is competitive compared to several recent multimodal and unimodal baselines.

研究动机与目标

• 解决电子商务目录中产品属性不完整或缺失的挑战，特别是在卖家通常仅提供非结构化文本的平台（如Rakuten-Ichiba）上。
• 研究单模态模型（仅文本和仅图像）在属性提取中的性能与可靠性，以指导多模态融合设计。
• 开发一种灵活的多模态融合策略，使模型能够基于产品特定的相关性，动态分配文本或图像模态的重要性。
• 通过一种合理的正则化方案缓解模态崩溃问题（即模型忽略某一模态），确保两种模态得到均衡使用。
• 通过在专有数据集和公开数据集上的大量实验，证明所提方法的有效性，包括真实环境部署的验证。

提出的方法

• 利用预训练的深度模型——文本使用BERT，图像使用ResNet——从产品描述和图像中提取高层表示。
• 提出一种模态注意力机制，计算文本和图像特征的可学习注意力权重，实现基于输入特定模态效用的动态融合。
• 在损失函数中引入正则化项，鼓励模态间注意力的平衡，防止模型仅依赖单一模态。
• 采用晚期融合策略，即在注意力加权后将模态特定的表示进行拼接，随后通过分类器头实现多标签属性预测。
• 使用交叉熵损失结合标签平滑和权重衰减进行端到端训练，并在领域特定的电子商务数据上进行微调。
• 应用知识蒸馏和架构消融实验，验证最终架构的鲁棒性与效率。

实验结果

研究问题

• RQ1 在真实世界的电子商务数据中，哪种模态（文本或图像）在属性提取中表现最佳，且这种表现是否因产品类别而异？
• RQ2 如何有效结合文本和视觉特征，以超越简单的早期或晚期融合方式，提升属性预测性能？
• RQ3 多模态模型中模态崩溃的根本原因是什么，以及如何在训练过程中系统性地预防？
• RQ4 可学习的、动态的融合机制是否能在真实世界的电子商务环境中超越固定融合策略（如拼接或早期融合）？
• RQ5 所提方法在不同数据集上的泛化能力如何，包括公开基准和专有电子商务数据？

主要发现

• 在Rakuten-Ichiba上，采用正则化（λ=5e-4）的模态注意力模型在颜色预测任务中达到60.6%的micro-F1和69.2%的weighted-F1，优于基线模型。
• 在Rakuten-Ichiba的材质属性预测任务中，模型达到68.1%的micro-F1，展现出在具有挑战性的现实世界数据集上的强大性能。
• 在MM-IMDB基准上，模型在采用模态注意力（λ=0.0）时达到93.5%的准确率，优于大多数基线模型，包括MMBT和DMSRC。
• 在UPMC FOOD-101数据集上，模型在λ=0.1时达到93.7%的准确率，与复杂多模态模型（如MMBT和DMSRC）相当或更优。
• 人工评估确认了模型预测的可靠性和实用性，促成了其在Rakuten-Ichiba的成功部署。
• 消融实验证明，模态注意力显著优于简单拼接和早期融合，尤其在模态性能不平衡时表现更优。