[论文解读] A Multimodal Late Fusion Model for E-Commerce Product Classification

Ye Bi, Shuo Wang+1 more|arXiv (Cornell University)|Aug 14, 2020

Text and Document Classification Technologies参考文献 11被引用 12

一句话总结

该论文提出了一种多模态后期融合模型，结合文本和图像分类器用于电子商务产品分类，采用CamemBERT处理法语文本，使用基于ResNet的图像分类器，并通过浅层神经网络实现决策级融合。该方法在SIGIR 2020电子商务研讨会挑战赛中取得了91.44的宏平均F1分数，获得第一名。

ABSTRACT

The cataloging of product listings is a fundamental problem for most e-commerce platforms. Despite promising results obtained by unimodal-based methods, it can be expected that their performance can be further boosted by the consideration of multimodal product information. In this study, we investigated a multimodal late fusion approach based on text and image modalities to categorize e-commerce products on Rakuten. Specifically, we developed modal specific state-of-the-art deep neural networks for each input modal, and then fused them at the decision level. Experimental results on Multimodal Product Classification Task of SIGIR 2020 E-Commerce Workshop Data Challenge demonstrate the superiority and effectiveness of our proposed method compared with unimodal and other multimodal methods. Our team named pa_curis won the 1st place with a macro-F1 of 0.9144 on the final leaderboard.

研究动机与目标

• 通过使用多模态数据解决大规模、不平衡且含噪声的电子商务产品分类挑战。
• 通过融合文本与图像模态，提升分类性能，超越单模态方法。
• 在真实电子商务环境中评估并比较特征级融合与决策级融合策略。
• 在SIGIR 2020电子商务研讨会数据挑战赛中实现最先进性能。

提出的方法

• 使用CamemBERT-base与CamemBERT-large进行法语文本表征，基于产品标题与描述进行微调。
• 使用基于ResNet的图像分类器，通过数据去噪与DCL（去中心化对比学习）训练产品图像，以提升特征学习效果。
• 实施两阶段决策级融合策略：首先训练各模态特定的分类器，然后使用各模态的分类概率训练一个浅层神经网络。
• 通过结合12种不同配置的文本、图像与融合模型（采用多数投票法）实现集成学习。
• 使用8折交叉验证训练融合策略，并基于宏平均F1分数选择最佳检查点。
• 通过cleanlab的概率标签方法进行噪声减少，以提升训练数据质量。

实验结果

研究问题

• RQ1 在多模态电子商务产品分类中，决策级融合是否优于特征级融合？
• RQ2 结合最先进的法语NLP模型与深度图像分类器，能否提升在大规模、不平衡产品数据集上的分类准确率？
• RQ3 与单模态基线相比，使用模态特定分类器的后期融合在真实电子商务环境中的有效性如何？
• RQ4 在多模态产品分类中，模型集成在多大程度上提升了性能？

主要发现

• 决策级融合模型在测试集第一阶段取得90.94的宏平均F1分数，在第二阶段取得90.17，优于单模态与特征级融合基线。
• 最终集成模型在最终排行榜上取得91.44的宏平均F1分数，赢得SIGIR 2020电子商务研讨会数据挑战赛第一名。
• 单模态文本分类器单独取得89.93的宏平均F1分数，表现强劲，但仍被多模态融合超越。
• 与决策级融合相比，特征级融合方法表现较差，表明后期融合更能保留模态特定的表征。
• 通过12种不同配置（包括不同的主干网络、学习率、数据去噪方法与融合架构）进行模型集成，带来了持续的性能提升。
• 使用cleanlab进行噪声减少提升了模型泛化能力，尤其在类别分布高度不平衡的情况下更为显著。