[论文解读] StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval

Aneeshan Sain, Ayan Kumar Bhunia+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Image and Video Retrieval Techniques参考文献 56被引用 10

一句话总结

本文提出 StyleMeUp，一种风格无关的基于草图的图像检索框架，通过元学习的跨模态变分自编码器，将草图内容解耦为共享语义特征与用户特定的风格成分。通过引入风格自适应特征转换层和基于模型无关元学习的解耦正则化，该模型无需微调即可泛化至未见过的用户风格，在类别级和实例级 SBIR 基准上均达到最先进性能。

ABSTRACT

Sketch-based image retrieval (SBIR) is a cross-modal matching problem which is typically solved by learning a joint embedding space where the semantic content shared between photo and sketch modalities are preserved. However, a fundamental challenge in SBIR has been largely ignored so far, that is, sketches are drawn by humans and considerable style variations exist amongst different users. An effective SBIR model needs to explicitly account for this style diversity, crucially, to generalise to unseen user styles. To this end, a novel style-agnostic SBIR model is proposed. Different from existing models, a cross-modal variational autoencoder (VAE) is employed to explicitly disentangle each sketch into a semantic content part shared with the corresponding photo, and a style part unique to the sketcher. Importantly, to make our model dynamically adaptable to any unseen user styles, we propose to meta-train our cross-modal VAE by adding two style-adaptive components: a set of feature transformation layers to its encoder and a regulariser to the disentangled semantic content latent code. With this meta-learning framework, our model can not only disentangle the cross-modal shared semantic content for SBIR, but can adapt the disentanglement to any unseen user style as well, making the SBIR model truly style-agnostic. Extensive experiments show that our style-agnostic model yields state-of-the-art performance for both category-level and instance-level SBIR.

研究动机与目标

• 解决基于草图的图像检索（SBIR）中用户特定草图风格差异的关键挑战，现有模型难以泛化。
• 克服当前 SBIR 模型仅关注共享语义内容而忽略模态特异性草图风格的局限。
• 开发一种无需微调即可动态适应未见用户绘图风格的框架，实现真正的风格无关检索。
• 实现草图内容到不变（共享）与可变（风格特定）成分的有效解耦，以提升泛化能力。
• 在风格多样性条件下，于类别级和实例级基于草图的图像检索中均实现最先进性能。

提出的方法

• 采用跨模态变分自编码器（VAE）联合编码草图与图像，生成解耦的潜在表示：模态不变的语义码与模态特定的风格码。
• 在编码器层之间引入一组可学习的特征转换（FT）层，以实现编码器对未见草图风格的动态适应。
• 设计一种新型正则化器，根据输入草图自适应调整不变语义码的解耦程度，确保内容与风格的稳健分离。
• 使用模型无关元学习（MAML）框架进行端到端训练，采用元训练策略，每个训练周期（episode）采样新的用户风格与物体类别。
• 采用联合损失函数，结合重建、翻译与三元组排序目标，以保持模态间语义一致性并提升检索准确率。
• 利用编码器输出的解耦不变码作为检索的特征表示，使模型对风格变化具有鲁棒性。

Figure 1: Owing to subjective interpretation, different users sketch the same object instance (a shoe here) very differently. Without considering this style diversity, an existing SBIR model yields completely different results for different sketches. With our style-agnostic model, the same intended

实验结果

研究问题

• RQ1 基于草图的图像检索模型是否能在不微调的情况下有效泛化至未见的用户草图风格？
• RQ2 如何学习一种支持对新风格动态适应的草图内容与风格的解耦表示？
• RQ3 为实现对未见用户风格的元学习适应，解耦过程需要哪些关键组件？
• RQ4 显式解耦草图风格是否能在高风格可变性下提升检索性能？
• RQ5 所提出的框架是否能在类别级与实例级 SBIR 基准上均实现最先进性能？

主要发现

• 所提模型在 QMUL Shoe-V2 上达到 36.47% 的准确率，在 Sketchy (ext) 上达到 81.83%，优于先前最先进方法。
• 在 QMUL Shoe-V2 上 mAP 达到 0.905，在 Sketchy (ext) 上达到 0.927，显著超越现有基线。
• 消融实验表明，移除特征转换层会使准确率下降 3.19%，证实其在风格无关适应中的必要性。
• 移除解耦正则化器导致 Shoe-V2 上 Acc@1 下降 3.9%，证明其在动态控制解耦程度中的关键作用。
• 在 QMUL ChairV2 上，模型的单次查询检索推理时间仅为 0.18ms，与基线 B-Basic-SN（0.14ms）相当，表明其高效性。
• 在 QuickDraw 的草图到草图检索设置中，模型准确率达到 75.81%，优于 Sketch-A-Net（68.71%），验证了所学表征的通用性。

Figure 2: Our core model is a VAE framework that disentangles the modal variant and invariant semantics in a sketch in a cross-modal translation setting. While a regulariser network regularises parameters of the invariant component ( $\Omega_{inv}$ ), feature transformation (FT) layers aid in style-