[論文レビュー] Pixel-Level Face Image Quality Assessment for Explainable Face Recognition

Philipp Terhörst, Marco Huber+4 more|arXiv (Cornell University)|Oct 21, 2021

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、顔認識性能に最も寄与する顔の領域を説明するための、トレーニング不要でモデルに依存しないピクセルレベルの顔画像品質（PLQ）マップを生成する手法を提案する。モデル固有の品質スコアを推定し、サンプル固有の回帰モデルを通じて品質ベースの勾配を逆伝播させることで、解釈可能で高解像度の品質マップを生成する。この手法により、遮蔽、ノイズ、ICAO基準不適合による低品質領域を特定でき、顔認識システムにおける説明可能性が向上する。

ABSTRACT

An essential factor to achieve high performance in face recognition systems is the quality of its samples. Since these systems are involved in daily life there is a strong need of making face recognition processes understandable for humans. In this work, we introduce the concept of pixel-level face image quality that determines the utility of pixels in a face image for recognition. We propose a training-free approach to assess the pixel-level qualities of a face image given an arbitrary face recognition network. To achieve this, a model-specific quality value of the input image is estimated and used to build a sample-specific quality regression model. Based on this model, quality-based gradients are back-propagated and converted into pixel-level quality estimates. In the experiments, we qualitatively and quantitatively investigated the meaningfulness of our proposed pixel-level qualities based on real and artificial disturbances and by comparing the explanation maps on faces incompliant with the ICAO standards. In all scenarios, the results demonstrate that the proposed solution produces meaningful pixel-level qualities enhancing the interpretability of the complete face image quality. The code is publicly available

研究の動機と目的

• 顔画像品質評価（FIQA）システムにおける説明可能性の欠如、特に画像登録時における課題に対処すること。
• 顔画像が品質上の問題で拒否される理由を人間が理解できる形でフィードバックすること。
• 再トレーニングを必要とせず、認識に寄与する各ピクセルのユーティリティスコアを割り当てる手法を開発すること。
• 認識性能を低下させる特定の顔領域を同定できること。

提案手法

• まず、入力画像を事前学習済み顔認識ネットワークの最終層を繰り返し通すことにより、モデル固有の品質推定値 $ Q_I $ を算出する。
• 次に、FRモデルに品質ノード $ N_{\hat{Q}_I} $ を追加し、学習可能な重み $ \omega_{N_{\hat{Q}_I}} $ を介して接続することで、サンプル固有の品質回帰モデル $ \mathcal{M}_Q(I) $ を構築する。この際、推定された $ Q_I $ をターゲットとして用いる。
• その後、$ \mathcal{M}_Q(I) $ を通じて品質ベースの勾配を逆伝播させ、サリエンシー・マップを生成する。
• サリエンシー・マップを変換して、各ピクセルの認識に与える貢献度を表すピクセルレベルの品質マップ $ P(I) $ を得る。
• 勾配の爆発を防ぎ、品質マップ生成の安定性を確保するため、逆伝播中に勾配クリッピングを適用する。
• 微調整や再トレーニングを必要とせず、あらゆる事前学習済み顔認識モデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 顔認識モデルの再トレーニングなしにピクセルレベルの品質マップを生成できるか？
• RQ2 提案されたPLQマップは、遮蔽や人工的摂動によって生じた低品質領域を正確に局在化できるか？
• RQ3 PLQマップは顔画像におけるICAO基準不適合を検出できるか？
• RQ4 PLQマップは画像品質が認識性能に与える影響をどのように反映しているか？
• RQ5 PLQマップは、どの顔領域を強化すべきかを示すことで、画像取得の改善を支援できるか？

主な発見

• PLQマップで特定された低ピクセル品質領域をインpaintingした結果、顔画像品質（FIQ）が顕著に向上した。これは、本手法が品質を低下させる領域を正確に検出できていることを確認する。
• 顔に人工的なランダムマスクを付与した場合、PLQマップはその領域を低品質領域として信頼性高く検出できた。これは、画像劣化に対する感受性を示している。
• PLQマップは、部分的遮蔽、不適切な照明、不適切な顔の位置決めといったICAO基準不適合領域を効果的に同定できた。
• 一部の事例では、明るく照らされた領域よりも、影がかった領域のピクセルレベル品質が高くなることが観察された。これは、FRモデルが低照度領域においてテクスチャやコントラストに依存している可能性を示唆している。
• ArcFaceを用いた場合、FaceNetに比べて品質推定値とPLQマップがより安定的かつ正確であった。これは、モデルアーキテクチャや学習の違いが影響していることを示している。
• 本手法はモデル依存である。PLQマップは、下位のFRモデルのバイアスや特徴抽出能力の違いによって変動する。