[论文解读] Methods and advancement of content-based fashion image retrieval: A Review

Amin Muhammad Shoib, Summaira Jabeen+2 more|arXiv (Cornell University)|Mar 30, 2023

Aesthetic Perception and Analysis被引用 4

一句话总结

本文对基于内容的时尚图像检索（CBFIR）方法进行了全面综述，将这些方法分类为图像引导、图像+文本引导、草图引导和视频引导四类。文章分析了2017至2022年的最新进展，评估了网络架构、损失函数、数据集和评估指标，并指出了时尚检索系统中的关键挑战与未来研究方向。

ABSTRACT

Content-based fashion image retrieval (CBFIR) has been widely used in our daily life for searching fashion images or items from online platforms. In e-commerce purchasing, the CBFIR system can retrieve fashion items or products with the same or comparable features when a consumer uploads a reference image, image with text, sketch or visual stream from their daily life. This lowers the CBFIR system reliance on text and allows for a more accurate and direct searching of the desired fashion product. Considering recent developments, CBFIR still has limits when it comes to visual searching in the real world due to the simultaneous availability of multiple fashion items, occlusion of fashion products, and shape deformation. This paper focuses on CBFIR methods with the guidance of images, images with text, sketches, and videos. Accordingly, we categorized CBFIR methods into four main categories, i.e., image-guided CBFIR (with the addition of attributes and styles), image and text-guided, sketch-guided, and video-guided CBFIR methods. The baseline methodologies have been thoroughly analyzed, and the most recent developments in CBFIR over the past six years (2017 to 2022) have been thoroughly examined. Finally, key issues are highlighted for CBFIR with promising directions for future research.

研究动机与目标

• 提供2017年至2022年期间基于内容的时尚图像检索（CBFIR）最新进展的系统性综述。
• 将CBFIR方法划分为四种不同模态：图像引导、图像+文本引导、草图引导和视频引导检索。
• 基于网络架构、损失函数、数据集和评估指标，分析并比较CBFIR模型的性能。
• 识别出在真实世界时尚检索中持续存在的挑战，如遮挡、视角变化以及标注数据有限。
• 提出未来研究方向，包括改进的草图数据集、消费者购买模式的整合，以及增强的视频到商品检索系统。

提出的方法

• 将CBFIR方法划分为四大类：图像引导、图像+文本引导、草图引导和视频引导检索。
• 系统分析CBFIR中使用的深度学习架构，包括卷积神经网络（CNNs）、注意力机制和多模态融合网络。
• 评估用于特征嵌入和相似性学习的损失函数，如三元组损失、对比损失和交叉熵。
• 回顾并比较基准数据集，包括DeepFashion、FashionIQ以及特定于草图的集合如Sketchy-200K。
• 通过属性预测和风格建模来提升图像引导检索的性能。
• 在视频引导和交互式检索系统中整合多模态信号（如文本、音频、用户反馈），以增强上下文理解能力。

实验结果

研究问题

• RQ1 过去六年中，图像引导CBFIR的关键方法论进展是什么？
• RQ2 与单模态方法相比，多模态（图像+文本）CBFIR方法如何提升检索准确性？
• RQ3 草图引导CBFIR的主要挑战是什么？如何通过改进数据集和分割技术来应对？
• RQ4 视频引导CBFIR的主要局限性是什么，特别是在视角变化和稀疏标注方面？
• RQ5 未来哪些研究方向可提升CBFIR系统在真实电商环境中的鲁棒性与准确性？

主要发现

• 图像引导CBFIR方法通过使用深度卷积神经网络（CNNs）和注意力机制实现了高精度，但在遮挡和视角变化下性能显著下降。
• 图像+文本引导的CBFIR模型通过利用多模态嵌入，显著提升了检索性能，尤其在文本属性标注良好时效果更明显。
• 草图引导CBFIR仍具挑战性，主要由于风格差异大且缺乏纹理/颜色信息，其性能高度依赖于草图数据集的质量。
• 视频引导CBFIR受限于公开的视频到商品数据集不足，以及动态视角和遮挡带来的高视觉变异性。
• 当前CBFIR系统在跨域检索方面表现不佳，尤其当参考图像与数据库中的物品在风格、光照或姿态上存在显著差异时。
• 未来改进有望通过整合实时消费者购买模式，以及增强草图和视频模态的数据增强技术来实现。