[论文解读] FashionViL: Fashion-Focused Vision-and-Language Representation Learning

Han Xiao, Licheng Yu+4 more|arXiv (Cornell University)|Jul 17, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

FashionViL 提出了一种专为时尚领域设计的视觉-语言表征学习框架，通过引入多视图对比学习和伪属性分类，充分利用多图像输入和细粒度文本属性。该方法在五个下游时尚任务中达到最先进性能，通过一种模态无关的 Transformer 架构展现出卓越的泛化能力和灵活性。

ABSTRACT

Large-scale Vision-and-Language (V+L) pre-training for representation learning has proven to be effective in boosting various downstream V+L tasks. However, when it comes to the fashion domain, existing V+L methods are inadequate as they overlook the unique characteristics of both the fashion V+L data and downstream tasks. In this work, we propose a novel fashion-focused V+L representation learning framework, dubbed as FashionViL. It contains two novel fashion-specific pre-training tasks designed particularly to exploit two intrinsic attributes with fashion V+L data. First, in contrast to other domains where a V+L data point contains only a single image-text pair, there could be multiple images in the fashion domain. We thus propose a Multi-View Contrastive Learning task for pulling closer the visual representation of one image to the compositional multimodal representation of another image+text. Second, fashion text (e.g., product description) often contains rich fine-grained concepts (attributes/noun phrases). To exploit this, a Pseudo-Attributes Classification task is introduced to encourage the learned unimodal (visual/textual) representations of the same concept to be adjacent. Further, fashion V+L tasks uniquely include ones that do not conform to the common one-stream or two-stream architectures (e.g., text-guided image retrieval). We thus propose a flexible, versatile V+L model architecture consisting of a modality-agnostic Transformer so that it can be flexibly adapted to any downstream tasks. Extensive experiments show that our FashionViL achieves a new state of the art across five downstream tasks. Code is available at https://github.com/BrandonHanx/mmf.

研究动机与目标

• 为解决通用视觉-语言预训练模型在时尚领域中的局限性，这些模型未能充分利用时尚数据的独特特性，如多视角图像和细粒度属性。
• 设计一种灵活且通用的模型架构，能够适应多样化的时尚下游任务，包括不适合标准单流或双流设计的任务。
• 通过引入两项专为时尚数据内在特性量身定制的新预训练任务，提升多模态表征学习效果。
• 在五个多样化的时尚视觉-语言下游任务中实现最先进性能。

提出的方法

• 提出一种多视图对比学习任务，将同一时尚单品的某张图像的视觉表征，与另一图像-文本对的组合式多模态表征对齐，利用同一物品的多个视角。
• 引入伪属性分类任务，促使同一细粒度属性的视觉和文本单模态表征在嵌入空间中彼此接近，从而增强属性级别的对齐。
• 采用模态无关的 Transformer 架构，使模型能够灵活适配各类下游任务，包括不适用于标准单流或双流范式的文本引导图像检索。
• 使用基于 VQ-VAE 的图像标记化方法，学习离散视觉表征，提升训练效率和表征质量。
• 在微调阶段应用对比损失和交叉熵损失，针对每个下游任务采用特定的超参数和数据增强策略。
• 重新实现并发布 OCIR 基准的新数据划分，以确保可复现性，因为原始代码和数据划分不可用。

实验结果

研究问题

• RQ1 通过利用同一物品的多张图像，多视图对比学习能否提升时尚视觉-语言表征学习的效果？
• RQ2 伪属性分类是否能增强模型捕捉时尚描述中细粒度视觉与文本属性的能力？
• RQ3 模态无关的 Transformer 架构能否有效处理多样化的时尚视觉-语言下游任务，包括非标准的检索设置？
• RQ4 与通用视觉-语言模型相比，基于时尚特定目标的预训练在下游任务上的性能提升程度如何？

主要发现

• FashionViL 在五个下游时尚任务中达到最先进性能，包括文本引导图像检索、搭配物品检索和类别/子类别识别。
• 在多图像子类别识别（M-SCR）任务中，使用预训练的模型达到 84.30% 的准确率，而未使用预训练的模型为 83.02%，证明了所提预训练任务的有效性。
• 与未预训练的基线模型相比，预训练模型在类别识别（CR）和子类别识别（SCR）任务中分别实现了 13.32% 和 11.14% 的宏 F1 分数提升。
• t-SNE 可视化显示，预训练使类别和子类别层级的多模态表征聚类更紧密，证实了语义对齐的改善。
• 尽管使用了重新实现的数据划分，FashionViL 在 OCIR 基准上仍显著优于原始 CSA-Net 实现，且超越了现有最先进方法。
• 消融研究证实，多视图对比学习和伪属性分类任务均对最终性能有显著贡献，其中后者在细粒度属性理解方面表现尤为突出。