[论文解读] FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal Retrieval

Dehong Gao, Linbo Jin+6 more|arXiv (Cornell University)|May 20, 2020

Multimodal Machine Learning Applications参考文献 37被引用 6

一句话总结

FashionBERT 通过利用基于图像块的特征和基于 BERT 的架构，提出了一种用于时尚的跨模态检索模型，以捕捉细粒度的文本-图像对齐。它引入了一种自适应损失函数用于多任务学习，在公开的时尚数据集上实现了最先进性能，并在实际应用中表现出强大的推理效率。

ABSTRACT

In this paper, we address the text and image matching in cross-modal retrieval of the fashion industry. Different from the matching in the general domain, the fashion matching is required to pay much more attention to the fine-grained information in the fashion images and texts. Pioneer approaches detect the region of interests (i.e., RoIs) from images and use the RoI embeddings as image representations. In general, RoIs tend to represent the "object-level" information in the fashion images, while fashion texts are prone to describe more detailed information, e.g. styles, attributes. RoIs are thus not fine-grained enough for fashion text and image matching. To this end, we propose FashionBERT, which leverages patches as image features. With the pre-trained BERT model as the backbone network, FashionBERT learns high level representations of texts and images. Meanwhile, we propose an adaptive loss to trade off multitask learning in the FashionBERT modeling. Two tasks (i.e., text and image matching and cross-modal retrieval) are incorporated to evaluate FashionBERT. On the public dataset, experiments demonstrate FashionBERT achieves significant improvements in performances than the baseline and state-of-the-art approaches. In practice, FashionBERT is applied in a concrete cross-modal retrieval application. We provide the detailed matching performance and inference efficiency analysis.

研究动机与目标

• 为解决时尚检索中细粒度文本与图像匹配的挑战，传统感兴趣区域（RoI）方法缺乏足够的粒度。
• 通过用基于图像块的图像表征替代 RoI 嵌入，改进跨模态对齐，以获得更丰富的视觉细节。
• 通过一种新颖的自适应损失函数，增强多模态学习，以平衡文本-图像匹配与跨模态检索的联合训练。
• 在真实世界的时尚检索应用中验证模型的有效性和效率。
• 为时尚电商平台的工业级部署提供一种强大且可扩展的解决方案。

提出的方法

• FashionBERT 使用预训练的 BERT 主干网络，将文本和图像输入联合编码到共享嵌入空间中。
• 采用基于图像块的方法提取图像特征，而非感兴趣区域（RoI）检测，以实现更细粒度的视觉表征。
• 模型通过多任务学习框架，联合优化两个任务：文本-图像匹配和跨模态检索。
• 自适应损失函数动态平衡两个任务之间的梯度，以提升训练稳定性和性能。
• 该架构支持端到端学习，并利用注意力机制捕捉跨模态依赖关系。
• 模型在公开的时尚数据集上进行微调，并在检索准确率和推理速度方面进行评估。

实验结果

研究问题

• RQ1 与基于 RoI 的方法相比，基于图像块的图像特征是否能提升时尚文本与图像之间的细粒度对齐？
• RQ2 自适应损失函数如何增强跨模态时尚检索中的多任务学习？
• RQ3 所提出的 FashionBERT 模型是否在检索性能上优于最先进基线模型？
• RQ4 FashionBERT 在真实部署场景中的推理效率如何？
• RQ5 该模型能否在实际的时尚电商应用中实现良好泛化？

主要发现

• FashionBERT 在公开的时尚检索基准数据集上，相较于基线方法和最先进方法，均实现了显著的性能提升。
• 基于图像块的特征提取方法捕捉到的视觉属性比基于 RoI 的方法更详细，从而增强了细粒度匹配能力。
• 自适应损失函数有效平衡了多任务学习，带来更快的收敛速度和更好的泛化性能。
• 该模型表现出强大的推理效率，适用于时尚电商中的实时应用。
• 实证结果证实，联合优化匹配与检索任务能显著提升整体检索准确率。
• 在标准评估指标上，该模型优于现有方法，验证了其在跨模态时尚检索中的有效性。