[论文解读] L2-constrained Softmax Loss for Discriminative Face Verification

Rajeev Ranjan, Carlos D. Castillo+1 more|arXiv (Cornell University)|Mar 28, 2017

Face recognition and analysis被引用 279

一句话总结

论文为 softmax 损失添加了 L2 范数约束，使特征落在一个超球面上，在 IJB-A、LFW 和 YouTube Faces 数据集上显著提升人脸验证性能。

ABSTRACT

In recent years, the performance of face verification systems has significantly improved using deep convolutional neural networks (DCNNs). A typical pipeline for face verification includes training a deep network for subject classification with softmax loss, using the penultimate layer output as the feature descriptor, and generating a cosine similarity score given a pair of face images. The softmax loss function does not optimize the features to have higher similarity score for positive pairs and lower similarity score for negative pairs, which leads to a performance gap. In this paper, we add an L2-constraint to the feature descriptors which restricts them to lie on a hypersphere of a fixed radius. This module can be easily implemented using existing deep learning frameworks. We show that integrating this simple step in the training pipeline significantly boosts the performance of face verification. Specifically, we achieve state-of-the-art results on the challenging IJB-A dataset, achieving True Accept Rate of 0.909 at False Accept Rate 0.0001 on the face verification protocol. Additionally, we achieve state-of-the-art performance on LFW dataset with an accuracy of 99.78%, and competing performance on YTF dataset with accuracy of 96.08%.

研究动机与目标

• 动机：训练基于 softmax 的人脸验证，直接优化同一身份对与不同身份对之间在验证级别上的分离。
• 引入一个简单的 L2 范数约束，以在所有样本之间强制特征幅度保持恒定。
• 证明该约束损失在归一化空间中能产生更大的验证边界，而不需要增加复杂的监督信号。
• 提供关于缩放参数 alpha 的实际实现细节及其界限的分析。

提出的方法

• 在倒数第二层之后引入一个 L2 归一化并缩放层，以强制固定的特征半径 alpha。
• 将特征描述符 f(x) 的 L2 范数约束为等于 alpha：||f(x_i)||_2 = alpha，对小批量中的所有 i。
• 在归一化空间中，使用此约束优化标准 softmax 损失（L2-softmax），以最大化正样本的余弦相似度、最小化负样本的相似度。
• 推导并讨论在训练中通过 L2-归一化和缩放层（包括 alpha）的梯度传播。
• 提供关于选择 alpha 的理论指导，包括从类别数 C 和特征维度 D 推导出的下界 a_low。

实验结果

研究问题

• RQ1 通过 L2-softmax 约束特征范数是否比常规 softmax 提高人脸验证的判别能力？
• RQ2 缩放参数 alpha 如何影响在不同数据集和网络架构上的性能？
• RQ3 L2-softmax 能否与现有的辅助损失（如 center loss）或度量学习方法有效结合？
• RQ4 在不同的训练集规模和网络骨干上，改进是否一致？

主要发现

• 使用 RX101 搭配 L2-softmax 的 LFW 准确率提升至 99.78%，超过了许多基线。
• 在 YouTube Faces 上，RX101 配合 L2-softmax 的准确率达到 96.08%，与最先进水平相当。
• 在具有挑战性的 IJB-A 1:1 验证协议中，L2-softmax 结合 alpha=12–32 在 FAR=0.0001 时 TAR 可达 0.734–0.744 区间，取决于 alpha，超越 softmax 基线。
• 将 L2-softmax 与辅助损失（如 center loss）结合可带来进一步提升，例如 center loss + L2-softmax 在 LFW 上达到 99.33%。
• 在 IJB-A 上对 TPE 使用 L2-softmax，在 FAR=0.0001 时达到 TAR=0.909，超越了先前记录。
• 该方法在多种 DCNN 骨干网络（Face-Resnet、All-In-One Face、ResNet-101、ResNeXt-101）上表现出持续的改进。