[论文解读] Large Scale Strongly Supervised Ensemble Metric Learning, with Applications to Face Verification and Retrieval

Chang Huang, Shenghuo Zhu+1 more|arXiv (Cornell University)|Dec 25, 2012

Face recognition and analysis参考文献 22被引用 61

一句话总结

该论文提出了一种两步法大规模度量学习方法，首先选择稀疏且有效的特征组以构建块对角度量，然后在选定的子空间中联合学习低秩马氏度量。该方法在人脸识别（LFW数据集上准确率达到92.58%）和使用150维向量的高效人脸识别检索任务中达到最先进性能，优于LMNN和LDA，且在高维数据上具有良好的可扩展性。

ABSTRACT

Learning Mahanalobis distance metrics in a high- dimensional feature space is very difficult especially when structural sparsity and low rank are enforced to improve com- putational efficiency in testing phase. This paper addresses both aspects by an ensemble metric learning approach that consists of sparse block diagonal metric ensembling and join- t metric learning as two consecutive steps. The former step pursues a highly sparse block diagonal metric by selecting effective feature groups while the latter one further exploits correlations between selected feature groups to obtain an accurate and low rank metric. Our algorithm considers all pairwise or triplet constraints generated from training samples with explicit class labels, and possesses good scala- bility with respect to increasing feature dimensionality and growing data volumes. Its applications to face verification and retrieval outperform existing state-of-the-art methods in accuracy while retaining high efficiency.

研究动机与目标

• 解决在高维、过完备特征空间中学习精确且低秩马氏距离度量的挑战。
• 提升具有显式类别标签的大规模数据集上度量学习的可扩展性与效率。
• 通过监督度量学习，学习紧凑且判别性强的表示，以实现有效的人脸识别与检索。
• 克服现有方法（如LMNN和LDA）在高维设置和内存受限环境下的局限性。

提出的方法

• 该方法采用两步流程：首先，通过稀疏块对角度量集成来选择有效特征组，并为每组学习弱度量。
• 其次，在选定的特征子空间中进行联合度量学习，利用所有成对或三元组约束联合学习一个低秩、精确的马氏度量。
• 采用基于指数logit代理的凸光滑损失函数，以支持高效的批量优化。
• 该算法设计具有可扩展性，能够处理高特征维度和大规模训练数据。
• 通过迹范数正则化强制最终度量的低秩结构，降低维度以实现高效检索。
• 该方法采用批量学习实现，结合高效的梯度计算，避免了活动集方法存在的内存与收敛问题。

实验结果

研究问题

• RQ1 两步度量学习方法能否有效结合稀疏特征选择与联合度量学习，在高维空间中提升准确率与效率？
• RQ2 与LMNN等现有方法相比，该方法在特征维度和数据量增加时的可扩展性如何？
• RQ3 联合度量学习在人脸识别与检索任务中，相对于LDA和LMNN的性能提升程度如何？
• RQ4 该方法是否能在无需外部数据或3D模型的情况下，在无约束LFW数据集上实现最先进性能？
• RQ5 使用光滑凸损失函数是否能实现比活动集方法更快的收敛速度与更好的可扩展性？

主要发现

• 所提方法在无约束LFW基准测试中实现了92.58%的平均分类准确率，超越此前91.30%的记录。
• 联合度量学习显著缩短了训练时间，仅需45–130次迭代即可收敛，而LMNN需1,000次以上，即使在更高维特征下亦然。
• 该方法在1,000维特征和30个目标邻居的设置下仍能高效扩展，而LMNN因内存限制在多个情况下失败。
• 在包含400万张人脸的数据库上，使用150维向量的检索仅需单台服务器2秒，展现出极高的效率。
• 联合度量学习在检索准确率上优于LDA，尤其在投影维度超过200时，LDA性能趋于饱和。
• 在大规模数据集上，该方法在人脸识别检索中实现了0.70的平均平均精度（mAPQ），显著优于基线方法。