[论文解读] Local Similarity-Aware Deep Feature Embedding

Chen Huang, Chen Change Loy+1 more|arXiv (Cornell University)|Oct 27, 2016

Domain Adaptation and Few-Shot Learning参考文献 28被引用 116

一句话总结

引入了一个位置相关深度度量（PDDM），使相似性测量适应局部特征结构，支持在线难样本挖掘和度量-嵌入联合学习，以提升深度特征嵌入。

ABSTRACT

Existing deep embedding methods in vision tasks are capable of learning a compact Euclidean space from images, where Euclidean distances correspond to a similarity metric. To make learning more effective and efficient, hard sample mining is usually employed, with samples identified through computing the Euclidean feature distance. However, the global Euclidean distance cannot faithfully characterize the true feature similarity in a complex visual feature space, where the intraclass distance in a high-density region may be larger than the interclass distance in low-density regions. In this paper, we introduce a Position-Dependent Deep Metric (PDDM) unit, which is capable of learning a similarity metric adaptive to local feature structure. The metric can be used to select genuinely hard samples in a local neighborhood to guide the deep embedding learning in an online and robust manner. The new layer is appealing in that it is pluggable to any convolutional networks and is trained end-to-end. Our local similarity-aware feature embedding not only demonstrates faster convergence and boosted performance on two complex image retrieval datasets, its large margin nature also leads to superior generalization results under the large and open set scenarios of transfer learning and zero-shot learning on ImageNet 2010 and ImageNet-10K datasets.

研究动机与目标

• 在深度嵌入中说明需要一个局部自适应相似度度量而非全局欧几里得度量。
• 提出一个可插拔的 PDDM 单元，利用特征差分和绝对位置学习局部度量。
• 通过大型边界双头铰链损失联合优化 PDDM 度量和嵌入。
• 表明局部相似性感知嵌入在细粒度数据集上提升检索并能泛化到迁移/零样本设置。

提出的方法

• 提出一个 Position-Dependent Deep Metric (PDDM)，其输入使用特征差 u = |f(x_i)-f(x_j)| 和特征均值 v = (f(x_i)+f(x_j))/2。
• 通过专用的全连接层计算两个独立的变换表示 u′ 和 v′，随后连接并经由最终评分层生成 S_i,j。
• 在处理前将特征归一化到单位超球面以确保可比性。
• 与嵌入 CNN 端到端训练 PDDM，在四元组中共享参数，并对四个元组的特征使用四个相同的 CNN。
• 引入双头铰链损失：一个度量损失 E_m，使用小批量中的困难四元组来最大化正负相似性分布的分离；一个嵌入损失 E_e，强制困难正样本距离和困难负样本距离之间的边距。
• 联合目标将 E_m、E_e 和网络参数的 L2 正则化结合起来，以联合优化度量和嵌入。

实验结果

研究问题

• RQ1 局部自适应相似度度量能否在难样本挖掘方面优于全局欧几里得或马氏距离？
• RQ2 在线的 PDDM 指导下的难样本挖掘是否带来更快的收敛和更好的嵌入质量用于图像检索？
• RQ3 结合学习的 PDDM 与嵌入是否能泛化到迁移学习和零样本学习设置？
• RQ4 分数层和特征层监督的组合对嵌入质量是否有益？

主要发现

• PDDM 相较于全局欧几里得度量产生更易区分的相似度分布，从而实现更好的难样本挖掘。
• PDDM+Quadruplet 与基于 PDDM 的排序在 CUB-200-2011 和 CARS196 上相比于前述方法实现更快收敛和更高的 Recall@K。
• 在具有挑战性、异质特征空间中，学习到的嵌入在欧几里得距离下展示出较大边距和鲁棒聚类。
• 与若干基线相比，PDDM 与局部相似性感知嵌入提升了 ImageNet-10K 的迁移学习性能和 ImageNet-2010 的零样本学习。
• 通过 PDDM 的难四元组挖掘在计算上仍然高效，批量复杂度近线性，并避免密集的成对距离计算。