[論文レビュー] Inducing Predictive Uncertainty Estimation for Face Recognition

Weidi Xie, Jeffrey Byrne+1 more|arXiv (Cornell University)|Sep 1, 2020

Face recognition and analysis参考文献 34被引用数 13

ひとこと要約

本稿では、同一被騆のペア画像から自己教師付きで画像品質のトレーニングデータを自動生成することで、顔認識における予測不確実性を推定する軽量な信頼性ネットワーク、PCNetを提案する。低品質な入力を除外し、集合ベースの統合を強化することで、ベースラインと比較してIJB-Cベンチマークで顕著な向上を達成し、より軽量なアーキテクチャを採用している。

ABSTRACT

Knowing when an output can be trusted is critical for reliably using face recognition systems. While there has been enormous effort in recent research on improving face verification performance, understanding when a model's predictions should or should not be trusted has received far less attention. Our goal is to assign a confidence score for a face image that reflects its quality in terms of recognizable information. To this end, we propose a method for generating image quality training data automatically from 'mated-pairs' of face images, and use the generated data to train a lightweight Predictive Confidence Network, termed as PCNet, for estimating the confidence score of a face image. We systematically evaluate the usefulness of PCNet with its error versus reject performance, and demonstrate that it can be universally paired with and improve the robustness of any verification model. We describe three use cases on the public IJB-C face verification benchmark: (i) to improve 1:1 image-based verification error rates by rejecting low-quality face images; (ii) to improve quality score based fusion performance on the 1:1 set-based verification benchmark; and (iii) its use as a quality measure for selecting high quality (unblurred, good lighting, more frontal) faces from a collection, e.g. for automatic enrolment or display.

研究の動機と目的

• 入力画像が低品質（例：ぼやけている、側顔、顔でない）である場合に顔認識の予測に対する信頼性が欠如し、誤検出や見逃しを引き起こす問題に対処すること。
• 高価な人工作業による品質ラベルに依存せずに、予測信頼性を学習する手法を開発すること。
• 任意の顔認識検証モデルと組み合わせて使用可能な普遍的な信頼性推定器を構築すること。
• 誤り低減のための除外、品質に配慮した統合、自動で高品質な顔画像を選択するという3つのユースケースにおける実用的有用性を示すこと。
• マッチドペアに基づく信頼性推定が、明示的なラベルなしで画像品質を効果的にモデル化できることを示すこと。

提案手法

• 事前学習済みの検証モデルの類似度スコアを用いて、同一被験者のペア画像（マッチドペア）から自動的に画像品質トレーニングデータを生成する。
• 各顔画像の信頼性スコアを予測する軽量なネットワーク、PCNet（ResNet18に基づく）を訓練する。低信頼性は認識可能な情報が不足していることを示す。
• 信頼性スコアを用いて集合ベースの検証における特徴埋め込みを重み付けし、重み付き平均集合記述子を計算する：$ v = \sum_i s_i v_i / \sum_i s_i $。
• 同一アイデンティティペアの固有の構造を活用して、代理の品質信号を定義する：相手との類似度が低い画像には低信頼性を割り当てる。
• 推論時にPCNetを適用し、低信頼性の画像を除外するか、登録または表示の際、高品質な画像を優先する。
• IJB-Cベンチマークを用いてトレーニングおよび評価する。このベンチマークは、実世界のばらつきを反映した多様な画像および動画セットを含む。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティラベル付きデータセットからのマッチドペアデータを活用することで、人工作業による品質ラベルに依存せずに予測信頼性を学習できるか？
• RQ2 低品質な画像を除外することで、PCNetは1対1顔認識における誤り率をどの程度低減できるか？
• RQ3 信頼性ベースの統合は、一様平均化と比較して集合ベースの顔認識ベンチマークでの性能を向上させるか？
• RQ4 PCNetは、自動登録または表示パイプラインにおける高品質な顔画像の選択に、どの程度信頼できる品質測定として機能できるか？
• RQ5 PCNetは、ResNet101 や SENet50 といった異なる顔認識アーキテクチャに対しても汎用的に適用可能か？

主な発見

• PCNetはIJB-Cベンチマークにおける1対1画像ベースの検証性能を顕著に向上させ、FAR=1E-2におけるTAR（真正受容率）を0.970に達成し、ベースラインモデルを上回った。
• FAR=1E-6において、ResNet50ではTARが0.693、SENet50では0.695を記録し、QNet や MNet ベースラインを上回った。
• 集合ベースの検証では、すべての指標で2〜8%の向上を達成し、特に低FARにおいて低品質な画像が平均埋め込みを歪めるため、最大の向上が得られた。
• 信頼性スコアは人間の画像品質への認識とよく相関しており、ぼやけた画像、顔でない画像、極端なアングルの画像に対して一貫して低スコアが割り当てられた。
• PCNetは従来の信頼性ネットワーク（例：ResNet50）よりもはるかに軽量なアーキテクチャ（ResNet18）を採用しており、リアルタイムデプロイに適している。
• 本手法は普遍的である：PCNetは再トレーニングなしに、任意の検証モデルと組み合わせて使用可能で、耐障害性を向上させられる。