[論文レビュー] Masked Face Recognition: Human vs. Machine

Naser Damer, Fadi Boutros+4 more|arXiv (Cornell University)|Mar 2, 2021

Face recognition and analysis参考文献 35被引用数 7

ひとこと要約

本研究では、マスクを着用した顔認証の分野において、人間の専門家と最先端の自動顔認識（FR）システムの共同評価を実施し、両者ともマスクの影響を同程度に受けることが明らかになった。特に、本人確認スコアが不正者スコアの範囲にずれる傾向が観察された。また、合成マスクは実際のマスクを評価する際の良好な代替手段ではないことが判明し、人間と機械の性能の間には強い相関関係があることが強調された。

ABSTRACT

The recent COVID-19 pandemic has increased the focus on hygienic and contactless identity verification methods. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition (FR) in a collaborative environment is a currently sensitive yet understudied issue. Recent reports have tackled this by evaluating the masked probe effect on the performance of automatic FR solutions. However, such solutions can fail in certain processes, leading to performing the verification task by a human expert. This work provides a joint evaluation and in-depth analyses of the face verification performance of human experts in comparison to state-of-the-art automatic FR solutions. This involves an extensive evaluation by human experts and 4 automatic recognition solutions. The study concludes with a set of take-home messages on different aspects of the correlation between the verification behavior of humans and machines.

研究の動機と目的

• マスク着用が本人確認タスクにおける人間専門家の認証性能に与える影響を調査すること。
• マスク着用下における人間専門家の認証性能と最先端の自動FRシステムの性能を比較すること。
• マスク顔認識システムのベンチマーク評価において、合成マスクと実マスクの有効性を評価すること。
• 顔のクロップ幅（髪型や顔の端の領域を含む）が、マスクを着用した顔の確認精度に与える影響を分析すること。
• パンデミック後における本人確認ワークフローに特に役立つ、マスクを着用した顔認証の改善に向けた実用的知見を導出すること。

提案手法

• 12名の専門家がマスク着用および非マスクの顔ペアに対して顔認証を実施した、広範な実験的評価を実施した。
• 同じデータセット上で、4つの自動FRシステム（最高性能を示す商用市販（COTS）ソリューションを含む）を評価した。
• 実際のパンデミック時の使用に由来する実マスクと、合成生成されたマスクを用いて、それらが認証性能に与える影響を評価した。
• 真のスコア分布と不正者スコア分布、等誤差率（EER）、分離性指標を用いて認証性能を測定した。
• 顔の周辺領域を変化させることで、髪型や額など顔以外の特徴が認証精度に与える寄与度を評価した。
• 人間専門家から得た定性的フィードバックを収集し、行動的観察と定量的性能トレンドの相関を分析した。

実験結果

リサーチクエスチョン

• RQ1 マスク着用が、人間専門家と自動FRシステムの両方の認証性能にどのように影響を与えるか？
• RQ2 合成マスクは、人間および機械の認証性能評価において、実マスクをどれほど正確に再現できるか？
• RQ3 マスクを着用した参照画像を用いることで、人間または機械の認証性能が向上するか？
• RQ4 顔の端や顔以外の特徴（例：髪型）の可視性が、マスクを着用した顔の確認精度にどのように影響を与えるか？
• RQ5 人間専門家の定性的なフィードバックと、マスクを着用した顔認証における統計的性能トレンドとの間に相関関係があるか？

主な発見

• 人間専門家は、マスクを着用したプローブの確認において顕著な性能低下を経験しており、これは自動FRシステムでも観察される性能低下と類似している。特に、本人確認スコアが不正者スコアの範囲にずれる傾向がある。
• 髪型などの顔以外の特徴を含む広い顔のクロップ領域を用いることで、人間専門家の認証精度は向上するが、長期的な認証シナリオではあまり実用的ではない。
• 合成マスクは、実際のマスクの反射、影のつき方、マスクデザインのばらつきといった実世界のばらつきを再現できないため、性能評価における実マスクの代替手段としては信頼できない。
• マスクを着用したペア同士の比較では、本人確認スコアと不正者スコアの両方がずれるが、マスクを着用したペアと非マスクのペアの比較では、主に本人確認スコアに影響を与える。
• マスクを着用した参照画像を用いることで、認証性能の向上は一貫して得られないが、合成マスクを用いた参照画像ではより安定した向上が観察される。これは、一貫した視覚的外観があるためと推測される。
• 人間専門家の定性的フィードバックと定量的性能指標との間に強い相関関係があることが判明した。これは、特定の訓練を施すことで性能向上が可能である可能性を示唆している。