[论文解读] Learning Large Euclidean Margin for Sketch-based Image Retrieval.

Peng Lu, Gao Huang+3 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Image and Video Retrieval Techniques参考文献 53被引用 19

一句话总结

本文提出欧几里得边缘软max（EMS），一种新颖的损失函数，可在草图图像检索（SBIR）中同时最小化类内距离并最大化类间距离，从而实现高度判别性的特征学习。通过将EMS与利用草图/照片身份信息的条件挤压-激励（CSE）模块结合，该方法在两个主要SBIR基准上实现了最先进性能，显著优于先前方法。

ABSTRACT

This paper addresses the problem of Sketch-Based Image Retrieval (SBIR), for which bridge the gap between the data representations of sketch images and photo images is considered as the key. Previous works mostly focus on learning a feature space to minimize intra-class distances for both sketches and photos. In contrast, we propose a novel loss function, named Euclidean Margin Softmax (EMS), that not only minimizes intra-class distances but also maximizes inter-class distances simultaneously. It enables us to learn a feature space with high discriminability, leading to highly accurate retrieval. In addition, this loss function is applied to a conditional network architecture, which could incorporate the prior knowledge of whether a sample is a sketch or a photo. We show that the conditional information can be conveniently incorporated to the recently proposed Squeeze and Excitation (SE) module, lead to a conditional SE (CSE) module. Extensive experiments are conducted on two widely used SBIR benchmark datasets. Our approach, although being very simple, achieved new state-of-the-art on both datasets, surpassing existing methods by a large margin.

研究动机与目标

• 为解决草图与照片图像表示之间的域差距问题，该问题存在于草图图像检索（SBIR）中。
• 通过联合最小化类内距离与最大化类间距离，提升特征空间的判别性。
• 将条件信息（草图或照片）融入深度特征学习，以实现更优的表征学习。
• 开发一种简单但高效的方法，在标准SBIR基准上实现最先进性能。

提出的方法

• 提出一种新的损失函数——欧几里得边缘软max（EMS），在特征空间中同时优化类内紧凑性与类间可分性。
• 设计EMS以显式最大化不同类别之间的边缘距离，同时最小化同一类别内的距离。
• 将挤压-激励（SE）模块改进为条件SE（CSE）模块，利用草图/照片身份作为先验知识，重新校准特征图。
• 在深度神经网络中应用CSE模块，通过关注与输入模态相关的特征，增强表征学习。
• 将EMS损失与CSE增强的网络架构结合，实现端到端训练。
• 在两个公开的SBIR数据集上采用标准深度学习训练协议，验证该方法的有效性。

实验结果

研究问题

• RQ1 是否可以通过统一的损失函数同时优化类内紧凑性与类间可分性，从而提升草图图像检索性能？
• RQ2 在SBIR中，整合条件信息（草图或照片）如何影响特征表征？
• RQ3 改进的挤压-激励模块（CSE）是否能有效利用模态特定先验知识，以提升检索准确率？
• RQ4 所提出的EMS损失结合条件建模是否在标准SBIR基准上优于现有最先进方法？

主要发现

• 所提出的EMS损失函数通过联合最小化类内距离与最大化类间距离，显著提升了特征空间的判别性。
• 通过CSE模块整合条件信息，生成了更鲁棒且模态感知的特征表征。
• 该方法在CU-Bing与Sketchy-Images数据集上均取得了新的最先进性能，显著超越先前方法。
• 所提方法的简洁性——结合EMS与条件网络——在无需复杂结构修改的情况下实现了强大性能。