[論文レビュー] Fast and Reliable Probabilistic Face Embeddings in the Wild

Kai Chen, Qi Lv+1 more|arXiv (Cornell University)|Feb 8, 2021

Face recognition and analysis参考文献 69被引用数 6

ひとこと要約

本稿では、不束れな顔認識環境における不確実性推定とマッチング速度の向上を図る、高速かつ信頼性の高い確率的顔埋め込み手法であるProbFaceを提案する。相互尤度スコアを不確実性補正付きのコサイン距離に簡略化し、分散正則化を適用し、アイデンティティ保持損失を用いたマルチレイヤー特徴統合を施すことにより、ProbFaceは9つのベンチマークで最先端の性能を達成し、ノイズ多め、大アングル、分布外の条件下でもリスク制御可能な顔認識を強化する。

ABSTRACT

Probabilistic Face Embeddings (PFE) can improve face recognition performance in unconstrained scenarios by integrating data uncertainty into the feature representation. However, existing PFE methods tend to be over-confident in estimating uncertainty and is too slow to apply to large-scale face matching. This paper proposes a regularized probabilistic face embedding method to improve the robustness and speed of PFE. Specifically, the mutual likelihood score (MLS) metric used in PFE is simplified to speedup the matching of face feature pairs. Then, an output-constraint loss is proposed to penalize the variance of the uncertainty output, which can regularize the output of the neural network. In addition, an identification preserving loss is proposed to improve the discriminative of the MLS metric, and a multi-layer feature fusion module is proposed to improve the neural network's uncertainty estimation ability. Comprehensive experiments show that the proposed method can achieve comparable or better results in 9 benchmarks than the state-of-the-art methods, and can improve the performance of risk-controlled face recognition. The code of our work is publicly available in GitHub (https://github.com/KaenChan/ProbFace).

研究の動機と目的

• 非制約的環境下における既存の確率的顔埋め込み（PFE）手法の過信と高い計算コストを解消すること。
• 相互尤度スコア（MLS）メトリックの簡略化を通じて、大規模な顔マッチングのための耐性と速度を向上させること。
• 分散正則化項の導入により、不確実性推定における過学習を低減すること。
• 肯定的および否定的ペアを活用する不確実性に配慮した識別損失を導入し、MLSメトリックの識別力を向上させること。
• 低レベルおよび高レベル表現のマルチレイヤー特徴統合を用いて、不確実性推定能力を向上させること。

提案手法

• MLSメトリックを不確実性に基づくコサイン類似度の補正に簡略化し、顔ペアマッチングを高速化する。
• 出力制約損失を導入し、不確実性出力の高い分散をペナルティ化することで、過信や過学習を防止する。
• 肯定的および否定的ペアを同時に最適化する識別保持損失を提案し、MLSメトリックの識別力を向上させる。
• 異なるネットワーク深さからの特徴を統合するマルチレイヤー特徴統合モジュールを採用し、不確実性推定能力を強化する。
• −σ²の勾配を用いた修正版Grad-CAMアプローチを用い、入力顔画像において不確実性を低減する領域を可視化する。
• 対照的損失と不確実性に配慮した損失の組み合わせを用いて、エンド・トゥ・エンドでモデルを訓練し、特徴表現と不確実性推定を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 相互尤度スコア（MLS）メトリックを簡略化することで、性能を損なわせずに顔マッチングの速度を向上させることができるか？
• RQ2 確率的顔埋め込みにおける不確実性推定を正則化することで、過信や過学習を防止できるか？
• RQ3 トレーニング中に否定的サンプルペアを組み込むことで、MLSメトリックの識別力を向上させられるか？
• RQ4 マルチスケール特徴統合は、深層顔認識ネットワークにおける不確実性推定をどの程度向上させるか？
• RQ5 本手法は、ノイズ多め、大アングル、分布外の条件下でもリスク制御可能な顔認識設定でどの程度の性能を示すか？

主な発見

• ProbFaceは、LFW、CFP-FP、AgeDB30を含む9つのベンチマークで、最先端の手法と同等またはそれ以上の性能を達成した。
• ノイズ割合20％のデータにおいて、ProbFaceはPFEおよびベースラインモデルと比較して、最も顕著な精度向上を示した。
• 大アングルが顕在するCFP-FPおよびVgg2FPデータセットにおいて、ProbFaceは最高の精度・リジェクト性能を達成し、高難易度シナリオにおける強い耐性を示した。
• 精度・リジェクト曲線から、ProbFaceは高いリジェクト率であっても高い精度を維持しており、リスク制御認識における有効性を裏付けた。
• Grad-CAMの可視化結果から、高品質な顔画像では顔領域に集中した注目が得られる一方、低品質な顔画像では散乱した活性化が観察され、効果的な不確実性局所化が実現していることが確認された。
• アブレーションスタディの結果、分散正則化、識別損失、マルチレイヤー統合の各コンポーネントが性能向上に顕著な寄与をしていることが確認された。