[論文レビュー] Automatic Face Image Quality Prediction

Lacey Best-Rowden, Anil K. Jain|arXiv (Cornell University)|Jun 29, 2017

Face recognition and analysis参考文献 3被引用数 13

ひとこと要約

本論文は、人間による品質スコアとマッチャー依存の類似度スコアを用い、事前学習済みのConvNetからの特徴量を用いてサポートベクターレグレッションモデルを適用することで、自動的かつ深層学習ベースの顔画像品質予測手法を提案する。この手法により、マッチングに使用する顔画像のうち高品質な画像を選択した際、1% FMRにおけるFNMRが最低13%低減され、LFWおよびIJB-Aデータセットにおいて顕著なクロスデータベース一般化性能を示している。

ABSTRACT

Face image quality can be defined as a measure of the utility of a face image to automatic face recognition. In this work, we propose (and compare) two methods for automatic face image quality based on target face quality values from (i) human assessments of face image quality (matcher-independent), and (ii) quality values computed from similarity scores (matcher-dependent). A support vector regression model trained on face features extracted using a deep convolutional neural network (ConvNet) is used to predict the quality of a face image. The proposed methods are evaluated on two unconstrained face image databases, LFW and IJB-A, which both contain facial variations with multiple quality factors. Evaluation of the proposed automatic face image quality measures shows we are able to reduce the FNMR at 1% FMR by at least 13% for two face matchers (a COTS matcher and a ConvNet matcher) by using the proposed face quality to select subsets of face images and video frames for matching templates (i.e., multiple faces per subject) in the IJB-A protocol. To our knowledge, this is the first work to utilize human assessments of face image quality in designing a predictor of unconstrained face quality that is shown to be effective in cross-database evaluation.

研究の動機と目的

• 非制約的環境における顔認識性能を向上させる自動顔画像品質予測システムの開発。
• 人間による顔画像品質評価とFNMRやFMRなどの認識性能指標との相関関係の調査。
• 認識精度の向上に寄与する人間による品質評価の予測とマッチャー依存の品質スコアの予測の有効性を比較すること。
• 提案された品質予測器の、異なる顔画像データベース（LFWおよびIJB-A）における一般化性能の評価。
• 品質に基づく統合、再取得の促し、適応的認識の実用的応用を可能にするために、マッチングの前段階で低品質な画像を特定すること。

提案手法

• 本手法は、顔画像から抽出した深層畳み込みニューラルネットワーク（ConvNet）特徴量を用いてトレーニングされたサポートベクターレグレッション（SVR）モデルを用いる。
• 2つの品質予測ターゲットを用いる：人間による顔画像品質（HQV）と類似度スコアから導出されるマッチャー依存の品質スコア（MQV）。
• ConvNet特徴量は、顔認識に特化して事前学習されたDeep-320ネットワークから抽出され、品質に依存しない表現を捉えている。
• HQV予測器はLFWデータセットからのクラウドソーシングによる人間評価スコアを用いてトレーニングされ、MQV予測器は顔マッチャーからのペアワイズマッチングスコアを用いる。
• 最終的な品質スコアは、IJB-Aプロトコルにおけるテンプレートベースマッチングのための高品質顔画像のランク付けと選択に使用される。
• クロスデータベース評価は、LFWでトレーニングしIJB-Aでテストすることで、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴量と人間による品質評価を用いて、顔画像の品質を信頼性高く予測し、顔認識性能の向上に寄与できるか。
• RQ2 認識性能の向上という観点から、人間による品質評価の予測とマッチャー依存の品質スコアの予測のどちらが優れているか。
• RQ3 提案された品質予測器は、異なる非制約的顔画像データベースに一般化可能か。
• RQ4 実世界の認識シナリオにおいて、固定されたFMR（1%）における品質ベースの画像選択が、FNMRをどの程度低減できるか。
• RQ5 品質予測モデルは、品質に基づく統合や適応的認識といった実用的応用に効果的に利用可能か。

主な発見

• IJB-Aプロトコルにおいて、COTS-AおよびConvNetマッチャーの両方で、人間による品質スコアを用いて高品質顔画像を選択することで、1% FMRにおけるFNMRが最低13%低減された。
• LFWデータベースにおいて、人間による品質スコアに基づき最も低い5%の顔画像を除外した場合、FNMRが2%低減された。
• マッチャー依存の品質スコア（MQV）を予測するのではなく、人間による品質評価（HQV）を予測する方が優れた性能を示した。MQVは特定のマッチャーの挙動やペアワイズ画像要因に敏感であるため。
• LFWデータでトレーニングした品質予測器は、IJB-Aデータセットに対しても良好に一般化され、クロスデータベース効果を示した。
• ランク付けされた顔画像の視覚的検証により、本手法が異なるデータベース間でも被検査者の認識品質に応じて画像を適切にランク付けできていることが確認された。
• 本手法は、品質ベースの画像選択において、最先端のRQS手法[29]と同等の性能を達成しており、その有効性が裏付けられた。