[论文解读] Hybrid Style Siamese Network: Incorporating style loss in complimentary apparels retrieval

Mayukh Bhattacharyya, Sayan Nag|arXiv (Cornell University)|Nov 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 5

一句话总结

本文提出了一种混合孪生网络，通过整合神经风格迁移中的风格损失，以提升互补服饰的检索性能。通过将孪生架构与混合损失函数相结合，该模型能够捕捉低层次的风格特征，在检索视觉上兼容的服装商品方面显著优于标准孪生网络。

ABSTRACT

Image Retrieval grows to be an integral part of fashion e-commerce ecosystem as it keeps expanding in multitudes. Other than the retrieval of visually similar items, the retrieval of visually compatible or complementary items is also an important aspect of it. Normal Siamese Networks tend to work well on complementary items retrieval. But it fails to identify low level style features which make items compatible in human eyes. These low level style features are captured to a large extent in techniques used in neural style transfer. This paper proposes a mechanism of utilising those methods in this retrieval task and capturing the low level style features through a hybrid siamese network coupled with a hybrid loss. The experimental results indicate that the proposed method outperforms traditional siamese networks in retrieval tasks for complementary items.

研究动机与目标

• 解决标准孪生网络在捕捉对时尚商品视觉兼容性至关重要的低层次风格特征方面的局限性。
• 整合神经风格迁移技术，以增强互补服饰检索的特征表示能力。
• 设计一种结合度量学习与风格损失的混合损失函数，以提升检索性能。
• 在仅依赖视觉相似性之外，进一步提升互补服装商品的检索准确率。
• 证明风格感知特征学习在时尚电商检索系统中的有效性。

提出的方法

• 将孪生网络架构适配为处理成对服装图像以执行检索任务。
• 引入源自神经风格迁移的风格损失组件，以捕捉低层次的纹理与图案特征。
• 设计一种混合损失函数，结合对比损失（用于度量学习）与风格损失（用于特征级别的风格对齐）。
• 使用互补服饰的成对图像端到端训练网络，以同时优化语义相似性与视觉风格兼容性。
• 利用预训练卷积神经网络的特征图计算风格损失，重点关注内容与风格表征。
• 在包含标注互补商品对的时尚数据集上微调网络，以提升泛化能力。

实验结果

研究问题

• RQ1 将神经风格迁移中的风格损失整合到孪生网络中，能否提升其在互补服饰检索中的性能？
• RQ2 低层次风格特征在人类感知的时尚商品兼容性中起到何种作用？
• RQ3 结合度量学习与风格损失的混合损失是否能带来优于标准孪生损失的检索准确率？
• RQ4 风格感知特征在多大程度上提升了视觉相似性之外的检索性能？
• RQ5 所提出的方法能否在多样的时尚品类与风格中实现泛化？

主要发现

• 所提出的混合孪生网络在检索互补服饰商品方面显著优于传统孪生网络。
• 引入风格损失显著提升了模型检测细微视觉兼容性线索的能力。
• 混合损失函数通过对齐图像对之间的内容与风格表征，增强了特征学习。
• 该模型通过捕捉纹理与图案等低层次风格特征，实现了更高的检索准确率。
• 实验结果证实，风格感知学习可带来更符合人类偏好的检索结果。
• 与基线孪生网络相比，该方法在互补商品检索任务中表现出更优的性能。