[论文解读] FashionSearchNet-v2: Learning Attribute Representations with Localization for Image Retrieval with Attribute Manipulation

Kenan E. Ak, Joo‐Hwee Lim+3 more|arXiv (Cornell University)|Nov 28, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

FashionSearchNet-v2 提出了一种弱监督、定位感知的深度学习框架，用于带属性操作的图像检索，利用类激活映射（CAM）隔离特定属性区域，并在定位区域上应用三元组损失以提升相似性学习。该方法在多个时尚和属性丰富的数据集上优于最先进方法，实现了精确、可解释的属性操作，同时保持其他图像属性不变。

ABSTRACT

The focus of this paper is on the problem of image retrieval with attribute manipulation. Our proposed work is able to manipulate the desired attributes of the query image while maintaining its other attributes. For example, the collar attribute of the query image can be changed from round to v-neck to retrieve similar images from a large dataset. A key challenge in e-commerce is that images have multiple attributes where users would like to manipulate and it is important to estimate discriminative feature representations for each of these attributes. The proposed FashionSearchNet-v2 architecture is able to learn attribute specific representations by leveraging on its weakly-supervised localization module, which ignores the unrelated features of attributes in the feature space, thus improving the similarity learning. The network is jointly trained with the combination of attribute classification and triplet ranking loss to estimate local representations. These local representations are then merged into a single global representation based on the instructed attribute manipulation where desired images can be retrieved with a distance metric. The proposed method also provides explainability for its retrieval process to help provide additional information on the attention of the network. Experiments performed on several datasets that are rich in terms of the number of attributes show that FashionSearchNet-v2 outperforms the other state-of-the-art attribute manipulation techniques. Different than our earlier work (FashionSearchNet), we propose several improvements in the learning procedure and show that the proposed FashionSearchNet-v2 can be generalized to different domains other than fashion.

研究动机与目标

• 解决电子商务中带属性操作的图像检索挑战，用户希望修改特定属性（如领型、颜色）的同时保留其他属性。
• 通过弱监督定位聚焦相关图像区域，提升时尚图像中多个空间上分离的属性的特征表示学习能力。
• 通过学习每个属性的解耦局部表示并利用属性记忆模块进行融合，实现灵活且可解释的检索。
• 克服先前方法缺乏空间注意力或依赖全局特征的局限性，这些特征可能受到无关属性的污染。
• 通过利用鲁棒的局部属性表示，将该方法推广至时尚以外的其他领域。

提出的方法

• 使用类激活映射（CAM）结合全局平均池化（GAP），生成空间注意力图（AAMs），在无需边界框标注的情况下定位每个属性的相关区域。
• 在AAMs上应用ROI池化，提取每个属性的局部化、属性特定的特征表示，减少无关图像部分的干扰。
• 联合训练网络，对每个局部区域独立应用属性分类损失和三元组排序损失，提升训练三元组的多样性，并实现端到端的属性相似性学习。
• 引入可学习的属性记忆模块，允许在推理过程中动态替换查询图像的属性表示，实现实时属性操作。
• 通过将全局特征与局部表示融合，实现特征融合，提升对定位误差的鲁棒性。
• 使用共享主干网络提取初始特征，随后为每个属性设置独立分支，以实现独立的表示学习。

实验结果

研究问题

• RQ1 通过CAM实现的弱监督定位是否能提升图像检索中属性表示的判别能力？
• RQ2 在局部区域（而非全局特征）上应用三元组损失是否能带来更好的相似性学习和检索性能？
• RQ3 所提出的属性记忆模块在检索过程中实现动态、实时属性操作的有效性如何？
• RQ4 当定位不准确时，与全局特征融合在多大程度上能提升模型的鲁棒性？
• RQ5 FashionSearchNet-v2 是否能推广至非时尚领域，以及在具有复杂多属性图像的其他数据集上表现如何？

主要发现

• FashionSearchNet-v2 在多个基准数据集（包括 Shopping100k、DARN、iMaterialist 和 CelebA）上优于最先进方法 AMNet 及其他 SOTA 方法。
• 在 Shopping100k 上，由于图像更清晰、更统一，视觉干扰更少，模型在 Top-1 和 Top-5 检索准确率上表现更优。
• 在 iMaterialist 上性能低于 Shopping100k，原因在于图像噪声较大、为真实街拍场景，背景复杂且视角多变。
• CelebA 数据集表现最高，原因在于其正面、光照良好的人脸图像，且面部属性数量更少、更简单，相比时尚属性更具优势。
• 特征融合的引入略微提升了鲁棒性，但未显著提高性能，表明局部表示本身已具备高度准确性。
• 模型实现高效推理，10,000 张图像的特征提取仅需约 60 秒，每张图像的 ROI 提取时间仅约 0.002 秒，适用于实时应用。