[論文レビュー] Reliable Probabilistic Face Embeddings in the Wild.

Kai Chen, Qi Lv+2 more|arXiv (Cornell University)|Feb 8, 2021

Face recognition and analysis参考文献 33被引用数 5

ひとこと要約

本論文では、不確保な顔認識における不確実性推定のロバスト性と照合速度を向上させる正則化された確率的顔埋め込み手法であるProbFaceを提案する。相互尤度スコア（MLS）の単純化、過信を抑える出力制約損失の導入、特徴抽出の統合と識別能の向上により、ProbFaceは8つのベンチマークで最先端の性能を達成し、より高速な推論とより良好なリスク制御認識を実現する。

ABSTRACT

Probabilistic Face Embeddings (PFE) can improve face recognition performance in unconstrained scenarios by integrating data uncertainty into the feature representation. However, existing PFE methods tend to be over-confident in estimating uncertainty and is too slow to apply to large-scale face matching. This paper proposes a regularized probabilistic face embedding method to improve the robustness and speed of PFE. Specifically, the mutual likelihood score (MLS) metric used in PFE is simplified to speedup the matching of face feature pairs. Then, an output-constraint loss is proposed to penalize the variance of the uncertainty output, which can regularize the output of the neural network. In addition, an identification preserving loss is proposed to improve the discriminative of the MLS metric, and a multi-layer feature fusion module is proposed to improve the neural network's uncertainty estimation ability. Comprehensive experiments show that the proposed method can achieve comparable or better results in 8 benchmarks than the state-of-the-art methods, and can improve the performance of risk-controlled face recognition. The code of ProbFace is publicly available in GitHub (this https URL).

研究の動機と目的

• 実世界の顔認識において信頼性の低い不確実性推定を引き起こす、既存の確率的顔埋め込み（PFE）手法における過信問題に対処すること。
• 顔ペア照合の高速化を図るために、相互尤度スコア（MLS）メトリックの単純化によるPFEの推論速度の向上。
• 識別保持損失を導入することでMLSメトリックの識別能力を向上させ、認識精度の向上。
• 階層的表現を捉えるために、マルチレイヤー特徴統合モジュールを導入し、不確実性推定を強化。
• ニューラルネットワークの出力を正則化することで、不確実性予測の分散を低減し、分布シフト下でも信頼性を向上。

提案手法

• 計算複雑性を低減し、顔特徴ペア照合を高速化するために、相互尤度スコア（MLS）メトリックを単純化。
• 予測された不確実性の分散が大きい場合にペナルティを与える出力制約損失を導入し、不確実性推定における過信を低減。
• MLSメトリックの識別能力を向上させるために、識別保持損失を提案。認識性能の向上に寄与。
• 異なるネットワーク層からの表現を集約するマルチレイヤー特徴統合モジュールを設計。不確実性推定の向上に寄与。
• 分類損失、識別保持損失、出力制約損失の組み合わせを用いて、エンドツーエンドでモデルを訓練。精度と不確実性キャリブレーションのバランスを取る。
• 統合フレームワーク内で埋め込み特徴とそれに関連する不確実性分散を予測する確率的出力ヘッドを採用。

実験結果

リサーチクエスチョン

• RQ1 相互尤度スコア（MLS）メトリックの単純化は、認識性能に影響を与えずに推論時間を著しく短縮できるか？
• RQ2 出力制約損失による不確実性分散の正則化は、不確保な顔認識における不確実性推定の信頼性を向上させるか？
• RQ3 識別保持損失は、MLSメトリックの識別能力をどの程度向上させるか？
• RQ4 マルチレイヤー特徴統合は、深層ニューラルネットワークの不確実性推定能力をどの程度向上させるか？
• RQ5 提案手法は、多様なベンチマークで最先端の性能を達成できるか。また、リスク制御認識設定下でもロバスト性を維持できるか？

主な発見

• ProbFaceは、MS-Celeb-1M、VGGFace2、IJB-Cを含む8つの多様なベンチマークで、最先端の手法と同等または優れた性能を達成。
• 単純化されたMLSメトリックにより、推論時間が著しく短縮され、大規模応用における高速な顔照合が可能に。
• 出力制約損失により、不確実性予測における過信が効果的に低減され、キャリブレーションと信頼性が向上。
• 識別保持損失のおかげで、MLSメトリックの識別能力が向上し、認識精度が向上。
• マルチレイヤー特徴統合モジュールにより、階層的表現を活用することで、より正確な不確実性推定が実現。
• リスク制御顔認識において、不確実性を考慮した意思決定が重要な状況で、優れた性能を示した。