[论文解读] Progressive Domain-Independent Feature Decomposition Network for Zero-Shot Sketch-Based Image Retrieval

Xinxun Xu, Muli Yang+2 more|arXiv (Cornell University)|Mar 22, 2020

Advanced Image and Video Retrieval Techniques参考文献 18被引用 8

一句话总结

本文提出了一种渐进式、与领域无关的特征分解（PDFD）网络，用于零样本草图图像检索（ZS-SBIR），通过对抗性学习和模态分类器将视觉特征分解为与领域无关的语义特征和领域特定特征。渐进式投影策略保留了强语义监督，而交叉重建损失则确保检索特征能够捕捉到清晰、完整的语义知识，从而在Sketchy数据集上达到62.3%的mAP@all，在TU-Berlin上达到46.0%，性能达到当前最先进水平。

ABSTRACT

Zero-shot sketch-based image retrieval (ZS-SBIR) is a specific cross-modal retrieval task for searching natural images given free-hand sketches under the zero-shot scenario. Most existing methods solve this problem by simultaneously projecting visual features and semantic supervision into a low-dimensional common space for efficient retrieval. However, such low-dimensional projection destroys the completeness of semantic knowledge in original semantic space, so that it is unable to transfer useful knowledge well when learning semantic from different modalities. Moreover, the domain information and semantic information are entangled in visual features, which is not conducive for cross-modal matching since it will hinder the reduction of domain gap between sketch and image. In this paper, we propose a Progressive Domain-independent Feature Decomposition (PDFD) network for ZS-SBIR. Specifically, with the supervision of original semantic knowledge, PDFD decomposes visual features into domain features and semantic ones, and then the semantic features are projected into common space as retrieval features for ZS-SBIR. The progressive projection strategy maintains strong semantic supervision. Besides, to guarantee the retrieval features to capture clean and complete semantic information, the cross-reconstruction loss is introduced to encourage that any combinations of retrieval features and domain features can reconstruct the visual features. Extensive experiments demonstrate the superiority of our PDFD over state-of-the-art competitors.

研究动机与目标

• 解决在零样本条件下，针对未见类别缺乏训练样本时，草图与图像之间跨模态检索的挑战。
• 克服现有方法中因低维投影导致的语义知识退化问题。
• 减小草图与图像模态之间的领域差距，该差距会阻碍准确的跨模态匹配。
• 在特征学习过程中保留强语义监督，以提升对未见类别的迁移能力。
• 开发一种生成清晰、完整语义特征（不含领域特定噪声）的检索框架。

提出的方法

• 利用对抗性学习框架，通过在原始语义嵌入上训练的判别器，将视觉特征分解为语义特征和领域特定特征。
• 在原始语义空间（如Word2Vec、GloVe、层次相似性）的监督下学习语义特征，以保持语义完整性。
• 使用模态分类器训练领域特征，以区分草图和图像输入，从而强化领域特定表示。
• 应用渐进式投影策略：首先在完整语义监督下学习语义特征，然后将其投影到公共检索空间。
• 引入交叉重建损失，强制从检索（语义）特征与领域特征之和重建原始视觉特征，以确保语义纯净性。
• 在草图和图像分支之间共享编码器和解码器参数，以提升特征一致性和泛化能力。

实验结果

研究问题

• RQ1 与直接的低维投影相比，渐进式投影策略是否能在特征学习过程中保留更强的语义监督？
• RQ2 将视觉特征分解为与领域无关的语义成分和领域特定成分，是否能有效减小草图与图像之间的领域差距？
• RQ3 交叉重建损失是否能有效确保检索特征仅包含清晰、完整的语义信息？
• RQ4 整合多种语义嵌入类型（如Word2Vec、GloVe、Jiang-Conrath）对检索性能有何影响？
• RQ5 所提出的PDFD框架在零样本草图图像检索任务中，相较于当前最先进方法，优势有多大？

主要发现

• 完整PDFD模型在Sketchy数据集上达到62.3%的mAP@all，在TU-Berlin上达到46.0%，显著优于当前最先进方法。
• 仅使用渐进式投影策略，便在Sketchy上将基线性能提升约10%，在TU-Berlin上提升约4%，证明了保留强语义监督的有效性。
• 在添加特征分解与模态分类损失后，性能进一步提升，表明有效减小了领域差距。
• 交叉重建损失对性能提升贡献显著，证实其在确保检索特征仅包含清晰、完整语义知识方面的重要作用。
• 当使用64维检索特征时，该模型在Sketchy上比最佳竞争方法高出超过13%，在TU-Berlin上高出超过10%。
• 即使与使用512维特征和二值化（SAKE）的方法相比，PDFD在Sketchy上仍实现约11%更高的mAP，在TU-Berlin上实现约1%更高的mAP，且使用实值512D特征。