[论文解读] Fashion IQ: A New Dataset Towards Retrieving Images by Natural Language Feedback

Hui Wu, Yupeng Gao+5 more|arXiv (Cornell University)|May 30, 2019

Multimodal Machine Learning Applications参考文献 76被引用 28

一句话总结

本文提出 Fashion IQ，一个结合人工标注的相对描述与商品衍生视觉属性的新颖数据集，用于时尚图像检索。该研究提出一种基于 Transformer 的用户模拟器与检索器，联合利用自然语言反馈、图像特征与视觉属性，在对话式图像检索任务中实现最先进性能，通过更优的多模态交互建模，超越以往基于 RNN 的方法。

ABSTRACT

Conversational interfaces for the detail-oriented retail fashion domain are more natural, expressive, and user friendly than classical keyword-based search interfaces. In this paper, we introduce the Fashion IQ dataset to support and advance research on interactive fashion image retrieval. Fashion IQ is the first fashion dataset to provide human-generated captions that distinguish similar pairs of garment images together with side-information consisting of real-world product descriptions and derived visual attribute labels for these images. We provide a detailed analysis of the characteristics of the Fashion IQ data, and present a transformer-based user simulator and interactive image retriever that can seamlessly integrate visual attributes with image features, user feedback, and dialog history, leading to improved performance over the state of the art in dialog-based image retrieval. We believe that our dataset will encourage further work on developing more natural and real-world applicable conversational shopping assistants.

研究动机与目标

• 为解决基于关键词或属性的时尚搜索界面存在的僵化与表达力不足的问题。
• 开发一种更自然、用户友好的对话式接口，支持通过自由形式自然语言反馈实现时尚图像检索。
• 探究附加信息（特别是商品描述与视觉属性）如何提升对话式图像检索的性能。
• 通过利用结构化的附加信息，减少对大规模标注对话数据的依赖，以提升模型泛化能力与训练效率。
• 建立一个支持复杂、复合及比较性用户查询的交互式时尚检索基准。

提出的方法

• 作者提出 Fashion IQ，一个包含 10,000 个针对相似服装对的人工标注相对描述的新数据集，同时包含推导出的视觉属性与商品描述。
• 基于 Transformer 的用户模拟器根据图像嵌入与属性向量生成自然语言反馈，通过自注意力机制建模用户意图。
• 交互式图像检索器使用多模态 Transformer，将图像特征、自然语言反馈嵌入（通过 GloVe）与视觉属性融合为统一的查询表示。
• 模型通过三元组损失进行检索训练，通过交叉熵损失进行描述生成，实现描述生成与检索任务的联合优化。
• 通过在数据集的属性标签上微调 EfficientNet-B7 主干网络，实现每个图像的 top-8 属性预测。
• 该框架实现描述生成器、检索器与属性预测器的端到端联合训练，支持通过模拟对话轮次实现动态交互。

实验结果

研究问题

• RQ1 与固定属性界面相比，自然语言反馈是否能提升时尚图像检索的表达力与准确性？
• RQ2 从商品描述中提取的视觉属性在多大程度上能提升对话式图像检索系统的性能？
• RQ3 附加信息在多大程度上可减少训练对话式检索模型时对大规模标注对话数据的依赖？
• RQ4 将自然语言反馈与视觉属性结合，是否能带来优于单一模态的泛化能力与性能表现？
• RQ5 统一的基于 Transformer 的架构是否能有效在单一端到端框架中建模用户反馈、图像内容与视觉属性？

主要发现

• 所提出的基于 Transformer 的模型在相对描述生成任务上超越先前最先进 RNN 方法，在连衣裙上达到 80.6 的 CIDEr 分数，在衬衫上达到 92.1 的 CIDEr 分数（集成属性后）。
• 在对话式图像检索中，具备属性感知能力的模型在连衣裙上的第 5 轮召回率达到 66.56%，显著超越此前最先进方法。
• 视觉属性的引入在所有类别中均提升了检索性能，其中衬衫类别的增益最大（R@5：66.56% vs. 61.76% 无属性时）。
• 属性感知的描述生成模型在所有类别中将 CIDEr 分数提升 2.1–3.0 分，表明属性能有效提升描述质量。
• 通过自注意力机制联合建模自然语言反馈、图像特征与视觉属性，实现了更连贯、更精确的用户模拟与检索结果。
• 该框架在极少人工特征工程与较低对话数据依赖下实现优异性能，表明其具备良好的可扩展性与真实世界适用性。