[論文レビュー] QMagFace: Simple and Accurate Quality-Aware Face Recognition

Philipp Terhörst, Malte Ihlefeld+5 more|arXiv (Cornell University)|Nov 26, 2021

Face recognition and analysis被引用数 4

ひとこと要約

QMagFaceは、線形品質重み関数を介してモデル固有の顔画像品質を比較スコアに統合することで、精度を向上させるシンプルで効果的な顔認識手法を提案する。マグニチュードに敏感な角マージン損失（MagFace）で訓練されたモデルは、AgeDB（98.50%）、XQLFQ（83.95%）、CFP-FP（98.74%）などのベンチマークで最先端の性能を達成しており、特にポーズや年齢の違いがあるような困難な条件下でも顕著な向上を示す。

ABSTRACT

Face recognition systems have to deal with large variabilities (such as different poses, illuminations, and expressions) that might lead to incorrect matching decisions. These variabilities can be measured in terms of face image quality which is defined over the utility of a sample for recognition. Previous works on face recognition either do not employ this valuable information or make use of non-inherently fit quality estimates. In this work, we propose a simple and effective face recognition solution (QMagFace) that combines a quality-aware comparison score with a recognition model based on a magnitude-aware angular margin loss. The proposed approach includes model-specific face image qualities in the comparison process to enhance the recognition performance under unconstrained circumstances. Exploiting the linearity between the qualities and their comparison scores induced by the utilized loss, our quality-aware comparison function is simple and highly generalizable. The experiments conducted on several face recognition databases and benchmarks demonstrate that the introduced quality-awareness leads to consistent improvements in the recognition performance. Moreover, the proposed QMagFace approach performs especially well under challenging circumstances, such as cross-pose, cross-age, or cross-quality. Consequently, it leads to state-of-the-art performances on several face recognition benchmarks, such as 98.50% on AgeDB, 83.95% on XQLFQ, and 98.74% on CFP-FP. The code for QMagFace is publicly available

研究の動機と目的

• 照明、ポーズ、表情の違いといった制約のない条件下での顔認識性能の不一致という課題に対処する。
• 顔画像品質（FIQ）を無視するか、比較時に不適切な品質推定値を使用する既存手法の限界を克服する。
• モデル固有のFIQを活用することで、汎用的で品質認識可能な比較関数を開発し、マッチング精度を向上させる。
• クロスポーズ、クロスエイジ、クロス品質といった困難なシナリオを含む多様なベンチマークで一貫した性能向上を実証する。
• 異なるバックボーンアーキテクチャ、トレーニングデータベース、評価プロトコルにわたって、耐障害性と汎用性を確保する。

提案手法

• 顔認識モデルをマグニチュードに敏感な角マージン（MagFace）損失で訓練し、その結果得られる埋め込みの大きさが顔画像品質と相関することを保証する。
• 学習された埋め込みの大きさからモデル固有の顔画像品質スコアを抽出し、品質認識可能な比較を可能にする。
• 比較スコア $ s $ を、2枚の顔の平均品質に基づいて調整する線形品質重み関数 $ \omega(s) $ を導入する。
• 品質認識比較スコアを $ \hat{s}(s, q_1, q_2) = s + \omega(s) \cdot \frac{q_1 + q_2}{2} $ として定義する。ここで $ \omega(s) $ は検証データ上の最適閾値から学習される。
• さまざまな偽マッチレート（FMR）閾値における最適な重み $ \omega_{\text{opt}} $ に対する線形フィットを用いて、品質重み関数 $ \omega(s) $ を最適化する。
• 推論時に品質認識スコアを適用することで、特に低品質または曖昧な顔ペアにおいて、真正と偽物の分布の分離性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデル固有の顔画像品質を比較プロセスに統合することで、制約のない条件下での顔認識性能を一貫して向上させることができるか？
• RQ2 異なるデータベースや意思決定閾値において、最適な品質重み付けをモデル化するために線形関数が十分に有効であるか？
• RQ3 提案された品質認識スコアリング機構は、異なるバックボーンアーキテクチャやトレーニングデータセットに一般化可能か？
• RQ4 クロスポーズ、クロスエイジ、またはクロス品質といった困難な認識シナリオにおいて、品質認識アプローチはどのように性能を発揮するか？
• RQ5 品質認識比較関数は、標準的な顔認識ベンチマークで最先端の性能を達成できるか？

主な発見

• QMagFaceはAgeDBで98.50%の認識精度を達成し、クロスエイジおよびクロスポーズ条件下で、既存手法を顕著に上回る。
• XQLFQベンチマークでは83.95%の精度に達し、クロス品質認識タスクにおいて強力な性能を示す。
• CFP-FPベンチマークでは98.74%の精度を達成し、画像ベース顔認識分野で最先端の結果を記録する。
• 品質認識比較関数は、特に低FMR領域において、広範な偽マッチレート範囲で一貫した性能向上をもたらす。
• 最適な品質重み関数 $ \omega(s) $ は、すべてのテストデータベースとMagFaceモデルで意思決定閾値と線形相関を示し、本手法の単純さと汎用性を裏付ける。
• 本手法は高い汎用性を示しており、あるデータベースで学習した品質重み関数が他のデータベースにも良好に一般化されることから、トレーニングおよび評価の設定にかかわらず耐障害性が高いことが示される。