[论文解读] Large Scale Multimodal Classification Using an Ensemble of Transformer Models and Co-Attention

Varnith Chordia, Vijay Kumar B G|arXiv (Cornell University)|Nov 23, 2020

Multimodal Machine Learning Applications参考文献 19被引用 8

一句话总结

本文提出了一种多模态分类框架，采用基于注意力机制的Transformer模型集成，联合利用图像和文本特征进行大规模电商产品分类。通过在预训练的CLIP嵌入上应用双重注意力机制，该方法在SIGIR eCom Rakuten数据挑战赛中实现了最先进性能，通过增强跨模态特征交互，优于单模态和标准多模态基线模型。

ABSTRACT

Accurate and efficient product classification is significant for E-commerce applications, as it enables various downstream tasks such as recommendation, retrieval, and pricing. Items often contain textual and visual information, and utilizing both modalities usually outperforms classification utilizing either mode alone. In this paper we describe our methodology and results for the SIGIR eCom Rakuten Data Challenge. We employ a dual attention technique to model image-text relationships using pretrained language and image embeddings. While dual attention has been widely used for Visual Question Answering(VQA) tasks, ours is the first attempt to apply the concept for multimodal classification.

研究动机与目标

• 通过结合视觉和文本信息，提升电商场景下的产品分类准确率。
• 解决在具有复杂、多样化产品类别的大规模数据集中有效融合多模态信号的挑战。
• 探索此前用于VQA任务的双重注意力机制在多模态分类设置中的应用。
• 通过可扩展的、基于集成的深度学习方法，在SIGIR eCom Rakuten数据挑战赛中实现高性能表现。

提出的方法

• 模型使用预训练的CLIP图像和文本编码器提取初始多模态嵌入。
• 应用双重注意力机制，动态关注图像和文本特征，实现跨模态特征优化。
• 注意力机制计算图像和文本标记之间的兼容性得分，生成上下文感知的联合表示。
• 训练并平均多个基于Transformer的模型，以提升鲁棒性和泛化能力。
• 最终的预测头使用多层感知机将产品分类到分层类别中。
• 该框架在Rakuten电商数据集上端到端训练，包含大量产品图像和描述。

实验结果

研究问题

• RQ1 双重注意力机制是否能有效提升大规模产品分类任务中的多模态表征学习？
• RQ2 在电商场景中，联合建模图像和文本特征与单模态基线相比表现如何？
• RQ3 在复杂的真实世界分类基准上，集成多个Transformer模型在多大程度上提升了性能？
• RQ4 在标注数据有限的情况下，预训练的CLIP嵌入是否能被有效微调以用于下游多模态分类任务？

主要发现

• 所提出的集成模型在SIGIR eCom Rakuten数据挑战赛中表现最佳，优于单模态和多模态基线模型。
• 采用双重注意力机制显著提升了分类准确率，通过实现更丰富的跨模态特征交互。
• 该模型在多样化产品类别中表现出强大的泛化能力，表明对领域偏移具有鲁棒性。
• 集成多个Transformer模型带来了稳定的性能增益，降低了方差并提升了可靠性。