[论文解读] Exploring the Interchangeability of CNN Embedding Spaces

David G. McNeely-White, Benjamin Sattelberg+2 more|arXiv (Cornell University)|Oct 5, 2020

Face recognition and analysis参考文献 46被引用 5

一句话总结

本文表明，通过经验估计的线性映射，可使训练同一任务（图像分类与人脸识别）的不同CNN的特征嵌入几乎完全互换。关键发现是，在映射后，下游任务（如人脸识别）的性能仅损失约1.0%的准确率，揭示了不同架构和训练数据下的嵌入空间之间存在深层的线性等价性。

ABSTRACT

CNN feature spaces can be linearly mapped and consequently are often interchangeable. This equivalence holds across variations in architectures, training datasets, and network tasks. Specifically, we mapped between 10 image-classification CNNs and between 4 facial-recognition CNNs. When image embeddings generated by one CNN are transformed into embeddings corresponding to the feature space of a second CNN trained on the same task, their respective image classification or face verification performance is largely preserved. For CNNs trained to the same classes and sharing a common backend-logit (soft-max) architecture, a linear-mapping may always be calculated directly from the backend layer weights. However, the case of a closed-set analysis with perfect knowledge of classifiers is limiting. Therefore, empirical methods of estimating mappings are presented for both the closed-set image classification task and the open-set task of face recognition. The results presented expose the essentially interchangeable nature of CNNs embeddings for two important and common recognition tasks. The implications are far-reaching, suggesting an underlying commonality between representations learned by networks designed and trained for a common task. One practical implication is that face embeddings from some commonly used CNNs can be compared using these mappings.

研究动机与目标

• 研究在相同任务上训练的不同CNN的特征嵌入是否可实现线性互换。
• 开发在无解析解时估计嵌入空间间线性映射的经验方法。
• 评估映射后嵌入在闭集（图像分类）和开集（人脸识别）场景下的性能。
• 展示实际应用价值，例如利用不同模型的面部嵌入实现跨数据库身份关联。

提出的方法

• 在闭集图像分类任务中，使用同一图像的配对嵌入，通过岭回归在10个ImageNet预训练的CNN之间估计线性映射。
• 在开集人脸识别设置中，使用来自9个LFW训练折的2,700对匹配图像，估计不同人脸识别模型之间嵌入的映射。
• 通过最小化变换后嵌入与目标嵌入之间的L2距离，使用岭回归计算线性映射矩阵：$\min_{\tilde{\mathbf{M}}_{A\to B}} \sum_{i=1}^{m} ||\tilde{\mathbf{M}}_{A\to B}f_A(x_i) - f_B(y_i)||_2 + ||\tilde{\mathbf{M}}_{A\to B}||_F$。
• 使用LFW验证折评估映射后嵌入的性能，以人脸识别准确率为指标，结果取10次交叉验证的平均值。
• 使用身份映射作为基线，验证直接比较不同模型的嵌入会导致接近随机的性能，从而证明学习映射的必要性。
• 该方法被应用于联邦研究计划的真实数据中，通过跨模型嵌入成功实现跨独立数据库的身份关联。

实验结果

研究问题

• RQ1 在相同任务上训练的不同CNN的特征嵌入能否通过线性映射实现互换，且性能损失极小？
• RQ2 经验估计的线性映射在闭集图像分类和开集人脸识别任务中，性能保持情况如何？
• RQ3 即使CNN架构、训练数据不同，其生成的嵌入空间在多大程度上表现出线性等价性？
• RQ4 这种线性互换性的实际意义是什么，特别是在跨数据库身份关联方面？
• RQ5 为何直接比较不同模型的嵌入会失败？学习线性映射如何解决此问题？

主要发现

• 即使网络在架构和训练数据上存在差异，仅通过在匹配图像对上使用岭回归，仍可可靠估计CNN嵌入空间之间的线性映射。
• 在闭集图像分类任务中，10个ImageNet预训练模型的映射后性能基本保持不变，准确率损失极小。
• 在LFW的开集人脸识别任务中，线性映射导致的最大准确率损失仅为1.0%，表明嵌入空间之间存在极强的线性等价性。
• MM模型在映射中表现较差，提示某些网络可能具有较低可迁移性的表征，但大多数嵌入仍具有高度可互换性。
• 直接使用身份映射比较不同模型的嵌入导致接近随机的性能，证实学习线性映射对实现有效互换至关重要。
• 该方法在真实联邦研究项目中成功实现了跨数据库的身份关联，证明了其在关联独立数据库中隐藏身份的实际应用价值。