[论文解读] Bi-Directional Domain Translation for Zero-Shot Sketch-Based Image Retrieval

Jiangtong Li, Zhixin Ling+2 more|arXiv (Cornell University)|Nov 29, 2019

Advanced Image and Video Retrieval Techniques参考文献 59被引用 4

一句话总结

本文提出了一种双向域翻译（Bi-Directional Domain Translation, BDT）框架，用于零样本草图图像检索（Zero-Shot Sketch-Based Image Retrieval, ZS-SBIR），通过将图像特征解耦为结构与外观两部分，实现跨域翻译与基于结构的检索。该方法在性能上达到当前最先进水平，在Sketchy数据集上检索准确率提升约8%，在TU-Berlin数据集上提升超过5%。

ABSTRACT

The goal of Sketch-Based Image Retrieval (SBIR) is using free-hand sketches to retrieve images of the same category from a natural image gallery. However, SBIR requires all categories to be seen during training, which cannot be guaranteed in real-world applications. So we investigate more challenging Zero-Shot SBIR (ZS-SBIR), in which test categories do not appear in the training stage. Traditional SBIR methods are prone to be category-based retrieval and cannot generalize well from seen categories to unseen ones. In contrast, we disentangle image features into structure features and appearance features to facilitate structure-based retrieval. To assist feature disentanglement and take full advantage of disentangled information, we propose a Bi-directional Domain Translation (BDT) framework for ZS-SBIR, in which the image domain and sketch domain can be translated to each other through disentangled structure and appearance features. Finally, we perform retrieval in both structure feature space and image feature space. Extensive experiments demonstrate that our proposed approach remarkably outperforms state-of-the-art approaches by about 8% on the Sketchy dataset and over 5% on the TU-Berlin dataset.

研究动机与目标

• 为解决零样本草图图像检索中测试类别在训练阶段未见的问题。
• 克服传统SBIR方法中基于类别的检索局限，此类方法难以泛化至未见类别。
• 通过将图像特征解耦为结构与外观两部分，实现有效的跨域检索。
• 设计一种双向翻译框架，利用解耦特征在草图与图像域之间进行翻译。
• 通过在统一框架中联合利用结构与图像特征空间，提升检索性能。

提出的方法

• 使用解耦模块将图像特征解耦为结构与外观两部分。
• 设计一种双向域翻译框架，利用解耦特征在草图与图像域之间进行翻译。
• 通过从解耦组件重建图像与草图来训练模型，以确保域间的一致性。
• 在结构特征空间与图像特征空间中均执行检索，以增强泛化能力。
• 采用对抗性训练与循环一致性损失，提升翻译特征的质量与对齐程度。
• 通过端到端学习，联合优化解耦与翻译模块。

实验结果

研究问题

• RQ1 解耦的结构与外观特征是否能提升草图图像检索中的零样本泛化能力？
• RQ2 双向域翻译在对齐草图与图像域方面，对未见类别是否有效？
• RQ3 在零样本设置下，基于结构的检索是否优于基于类别的检索？
• RQ4 解耦与翻译模块的联合优化在多大程度上提升了检索准确率？
• RQ5 所提方法在基准数据集上与当前最先进方法相比表现如何？

主要发现

• 所提出的BDT框架在Sketchy数据集上相比当前最先进方法取得了约8%的显著性能提升。
• 在TU-Berlin数据集上，该方法相比现有方法将检索性能提升了5%以上。
• 结构与外观特征的解耦有效提升了在零样本设置下对未见类别的泛化能力。
• 在结构特征空间与图像特征空间中均进行检索，相比仅使用任一空间，结果更加鲁棒且准确。
• 双向翻译机制有效保持了草图与图像之间的语义与结构一致性。
• 该模型展现出强大的零样本泛化能力，能有效检索出训练阶段未见类别的图像。