[論文レビュー] L2-constrained Softmax Loss for Discriminative Face Verification

Rajeev Ranjan, Carlos D. Castillo+1 more|arXiv (Cornell University)|Mar 28, 2017

Face recognition and analysis被引用数 279

ひとこと要約

本研究はソフトマックス損失にL2ノルム制約を追加し、特徴量をハイパースフィ sphere 上に置くようにする。IJB-A、LFW、YouTube Facesデータセットにおける顔認証性能を著しく向上させる。

ABSTRACT

In recent years, the performance of face verification systems has significantly improved using deep convolutional neural networks (DCNNs). A typical pipeline for face verification includes training a deep network for subject classification with softmax loss, using the penultimate layer output as the feature descriptor, and generating a cosine similarity score given a pair of face images. The softmax loss function does not optimize the features to have higher similarity score for positive pairs and lower similarity score for negative pairs, which leads to a performance gap. In this paper, we add an L2-constraint to the feature descriptors which restricts them to lie on a hypersphere of a fixed radius. This module can be easily implemented using existing deep learning frameworks. We show that integrating this simple step in the training pipeline significantly boosts the performance of face verification. Specifically, we achieve state-of-the-art results on the challenging IJB-A dataset, achieving True Accept Rate of 0.909 at False Accept Rate 0.0001 on the face verification protocol. Additionally, we achieve state-of-the-art performance on LFW dataset with an accuracy of 99.78%, and competing performance on YTF dataset with accuracy of 96.08%.

研究の動機と目的

• 同一人物ペアと異なる人物ペアの検証レベルの分離を直接最適化するよう、ソフトマックスベースの顔認証の訓練を動機づける。
• サンプル間で一定の特徴量の大きさを強制する単純なL2ノルム制約を導入する。
• 複雑な追加監督を加えることなく、制約付き損失が正規化空間でより良い検証マージンをもたらすことを示す。
• スケーリングパラメータalphaとその境界に関する実践的な実装の詳細と分析を提供する。

提案手法

• ネットワークの倒数前の層の後にL2正規化とスケール層を導入して、固定特徴半径alphaを強制する。
• 特徴記述子f(x)のL2ノルムをalphaに等しく制約する：||f(x_i)||_2 = alpha, ミニバッチの全てのiについて。
• この制約（L2-softmax）を用いて標準のソフトマックス損失を最適化し、正例のコサイン類似度を最大化し、正規化空間で負例のそれを最小化する。
• トレーニング中にL2正規化およびスケール層（alphaを含む）を通る勾配伝搬を導出・議論する。
• クラス数Cと特徴次元Dから導かれる下限a_lowを含む、alpha選択に関する理論的指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 L2-softmaxを介して特徴ノルムを制約することは、通常のsoftmaxと比べて顔認証の識別性を改善するか？
• RQ2 スケーリングパラメータalphaは、データセットとネットワークアーキテクチャ全体で性能にどのように影響するか？
• RQ3 L2-softmaxアプローチは、既存の補助損失（例：center loss）やメトリック学習法と効果的に組み合わせられるか？
• RQ4 トレーニングセットサイズの変化やネットワークバックボーンの違いに対して改善は一貫しているか？

主な発見

• RX101を用いたL2-softmaxでLFWの精度が99.78%に改善され、多くのベースラインを上回る。
• YouTube FacesではRX101とL2-softmaxで96.08%の精度を達成し、最先端と競合する。
• 難易度の高いIJB-A 1:1検証プロトコルでは、alpha=12–32のL2-softmaxがFAR=0.0001時のTARを0.734–0.744の範囲まで達成し、softmaxベースラインを上回る。
• 補助損失（例：center loss）とL2-softmaxを組み合わせるとさらなる改善が得られ、たとえばLFWで99.33%を達成。
• IJB-AでL2-softmaxとTPEを組み合わせるとFAR=0.0001時にTAR=0.909を達成し、これまでの最高記録を上回る。
• 本手法は複数のDCNNバックボーン（Face-Resnet, All-In-One Face, ResNet-101, ResNeXt-101）で一貫した改善を示す。