[論文レビュー] Crystal Loss and Quality Pooling for Unconstrained Face Verification and Recognition

Rajeev Ranjan, Ankan Bansal+5 more|arXiv (Cornell University)|Apr 3, 2018

Face recognition and analysis参考文献 49被引用数 46

ひとこと要約

論文は特徴を超球面上に制約する Crystal Loss を導入し、顔検証/認識を改善し、Quality Pooling/Attenuation によって顔品質スコアを用いてコンパクトな映像/テンプレート表現を生成・調整する。

ABSTRACT

In recent years, the performance of face verification and recognition systems based on deep convolutional neural networks (DCNNs) has significantly improved. A typical pipeline for face verification includes training a deep network for subject classification with softmax loss, using the penultimate layer output as the feature descriptor, and generating a cosine similarity score given a pair of face images or videos. The softmax loss function does not optimize the features to have higher similarity score for positive pairs and lower similarity score for negative pairs, which leads to a performance gap. In this paper, we propose a new loss function, called Crystal Loss, that restricts the features to lie on a hypersphere of a fixed radius. The loss can be easily implemented using existing deep learning frameworks. We show that integrating this simple step in the training pipeline significantly improves the performance of face verification and recognition systems. We achieve state-of-the-art performance for face verification and recognition on challenging LFW, IJB-A, IJB-B and IJB-C datasets over a large range of false alarm rates (10-1 to 10-7).

研究の動機と目的

• softmax loss が検証のための正例・負例の類似度を最適化しない gap を埋める。
• 特徴の固定 L2 ノルムを課して正規化/角度空間における検証マージンを改善する。
• Quality Pooling を用いて顔検出スコアでフレーム特徴を重み付けし、コンパクトな映像/テンプレート表現を作成する。
• 等級低下時に類似度スコアを再スケールする Quality Attenuation を導入して低 FAR 性能を向上させる。
• 挑戦的な非制約データセットでの最先端性能を示す。

提案手法

• 特徴を半径 alpha の超球面上に強制する L2 ノルム制約を追加して Crystal Loss を導入する。
• トレーニング中に調整可能なスケール層の前に L2 正規化層を置いて制約を実装する。
• Crystal Loss を von Mises-Fisher 分布の特別なケースとして解釈し、スケールパラメータ alpha の役割を分析する。
• Quality Pooling を提案し、顔検出スコアでフレーム特徴を重み付けてコンパクトな映像/テンプレート記述子を形成する。
• Quality Attenuation を導入してペアの顔品質が低い場合に検証スコアを再スケールする。
• LFW、IJB-A、IJB-B、IJB-C などのデータセットで検証し、softmax ベースラインや他の手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 特徴を固定 L2 ノルムに制約すると、非制約設定で顔表現の識別性は改善されるか。
• RQ2 スケールパラメータ alpha は性能にどう影響し、安定したトレーニングのための実用的な境界は何か。
• RQ3 フレーム特徴を顔検出品質で重み付けすることは映像/テンプレート検証を改善するか。
• RQ4 顔品質で類似度スコアを再スケールすることで非常に低い FAR で偽受理を減らせるか。
• RQ5 LFW や IJB 系列のような最先端データセットに観察される影響は何か。

主な発見

• Crystal Loss は困難なデータセットで通常の softmax より検証と認識性能を大幅に向上させる。
• 特徴の固定 L2 ノルムはクラス内の角度的ばらつきを減らし、クラス間の角度マージンを増大させる。
• Quality Pooling は顔検出スコアでフレームを重み付けることでより識別性の高い映像/テンプレート表現を生み出す。
• Quality Attenuation は低品質の検証ペアのスコアを低下させ、非常に低い FAR での TAR を改善する。
• 本手法は LFW、IJB-A、IJB-B、IJB-C で最先端の結果を達成し、他のメトリック学習法を補完する。
• 本フレームワークは複数のネットワークや損失を必要とせず、エンドツーエンドで学習可能なまま統合される。