[论文解读] Learning a Metric Embedding for Face Recognition using the Multibatch Method

Oren Tadmor, Yonatan Wexler+3 more|arXiv (Cornell University)|May 23, 2016

Face recognition and analysis被引用 25

一句话总结

本文提出多批量（Multibatch）方法，一种用于人脸识别中训练深度度量嵌入网络的新型随机梯度估计技术。通过在小批量内计算所有成对组合的梯度，其梯度方差降低至 O(1/k²)，从而实现更快收敛，在单张 GPU 上仅用 12 小时训练即可在 LFW 上达到 98.2% 的准确率，且在 ARM Cortex A9 核心上的推理时间仅为 30ms。

ABSTRACT

This work is motivated by the engineering task of achieving a near state-of-the-art face recognition on a minimal computing budget running on an embedded system. Our main technical contribution centers around a novel training method, called Multibatch, for similarity learning, i.e., for the task of generating an invariant "face signature" through training pairs of "same" and "not-same" face images. The Multibatch method first generates signatures for a mini-batch of $k$ face images and then constructs an unbiased estimate of the full gradient by relying on all $k^2-k$ pairs from the mini-batch. We prove that the variance of the Multibatch estimator is bounded by $O(1/k^2)$, under some mild conditions. In contrast, the standard gradient estimator that relies on random $k/2$ pairs has a variance of order $1/k$. The smaller variance of the Multibatch estimator significantly speeds up the convergence rate of stochastic gradient descent. Using the Multibatch method we train a deep convolutional neural network that achieves an accuracy of $98.2\\%$ on the LFW benchmark, while its prediction runtime takes only $30$msec on a single ARM Cortex A9 core. Furthermore, the entire training process took only 12 hours on a single Titan X GPU.

研究动机与目标

• 开发一种高效、计算成本低的人脸识别系统，适用于嵌入式部署。
• 解决训练深度度量嵌入网络的挑战，这类网络比代理分类任务更难优化。
• 在保持最先进准确率的同时，减少训练时间和计算成本。
• 实现联合对齐与特征生成网络的端到端训练，以提升鲁棒性与效率。
• 证明当结合低方差梯度估计器时，直接度量学习是可行且有效的。

提出的方法

• Multibatch 方法使用大小为 k 的小批量内所有 k² - k 对组合来计算梯度，而非随机子集，从而形成更精确的梯度估计。
• 证明该梯度估计器的方差被限制在 O(1/k²)，显著低于标准随机配对采样方法的 O(1/k) 方差。
• 将人脸对齐整合到网络架构中，通过一个仅 480 万 FLOP 的小型网络，实现对形变参数的端到端优化。
• 主嵌入网络为一个深层 CNN，包含 NIN 模块和全连接层，优化目标是为人脸图像生成 128 维的特征向量。
• 损失函数强制同类别对的距离小于 θ - 1，不同类别对的距离大于 θ + 1，基于选定的范数。
• 整个流程（包括对齐与嵌入）的总计算量为 4100 万 FLOPs，可在单个 ARM Cortex A9 核心上实现 30ms 的运行时间。

实验结果

研究问题

• RQ1 低方差梯度估计器是否能显著加速人脸识别中度量学习的训练收敛？
• RQ2 在不依赖多分类或三元组损失等代理目标的情况下，直接度量嵌入训练是否可行且有效？
• RQ3 联合端到端对齐与嵌入网络是否能在嵌入式系统上实现高准确率与极低的推理成本？
• RQ4 使用直接度量学习目标时，模型大小、训练时间与准确率之间的权衡如何？
• RQ5 在实际应用中，Multibatch 方法相较于标准随机梯度估计器，在方差和收敛速度方面表现如何？

主要发现

• 与标准估计器的 O(1/k) 方差相比，Multibatch 方法将梯度方差降低至 O(1/k²)，从而在随机梯度下降中实现更快收敛。
• 该方法使深度度量嵌入网络在单张 Titan X GPU 上仅用 12 小时训练即可在 LFW 基准上达到 98.2% 的准确率。
• 最终模型在单个 ARM Cortex A9 核心上运行时间仅为 30ms，仅需 4100 万 FLOPs，适用于实时嵌入式部署。
• 该模型在准确率上超越了 2014 年的最先进水平（DeepFace），训练时间仅为后者的 1/5000，且参数量显著更少。
• 一个更大的类似 VGG 的变体（110 亿 FLOPs）达到了 98.8% 的准确率，表明性能受限于训练数据中的噪声，而非模型容量。
• 结果表明，当结合 Multibatch 梯度估计器时，直接度量学习是可行且有效的，从而无需依赖代理目标。