[論文レビュー] The Effect of Wearing a Mask on Face Recognition 
 Performance: 
 an Exploratory Study

Naser Damer, Jonas Henry Grebe+4 more|arXiv (Cornell University)|Jan 1, 2020

Face recognition and analysis被引用数 45

ひとこと要約

本論文は、マスク着用が顔認識性能に与える影響を探索的に調査し、特別に収集したデータベースを用い、3つの認識システム（2つの学術系、1つのCOTS）を評価した。真偽分離性に一貫した悪影響を示し、ArcFaceとSphereFaceで顕著な劣化が見られる一方、COTSシステムは概ね堅牢である。

ABSTRACT

Face recognition has become essential in our daily lives as a convenient and contactless method of accurate identity verification. Process such as identity verification at automatic border control gates or the secure login to electronic devices are increasingly dependant on such technologies. The recent COVID-19 pandemic have increased the value of hygienic and contactless identity verification. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition in a collaborative environment is currently sensitive yet understudied issue. We address that by presenting a specifically collected database containing three session, each with three different capture instructions, to simulate realistic use cases. We further study the effect of masked face probes on the behaviour of three top-performing face recognition systems, two academic solutions and one commercial off-the-shelf (COTS) system.

研究の動機と目的

• COVID-19 でマスクの普及が広がる中、信頼性の高い接触不要の身元確認の必要性を動機づける。
• 各被験者につき3セッション、3つのキャプチャ変種を含む、現実的に多様なマスク顔データベースを作成する。
• マスク付きプローブが、ベースラインのノーマスク性能と比較して、3つのトップパフォーミング認識システム（2つの学術系、1つのCOTS）にどのように影響するかを評価する。
• マスク下での頑健性を評価するために、スコア分布、検証指標、検出の失敗を分析する。

提案手法

• 各被験者につき3セッション、3つのキャプチャ変種（ベースライン：ノーマスク、照明なしマスク、照明ありマスク）を備えたデータベースを構築する。
• Baseline references (BLR) と probe sets (M1P, M2P, M12P) の間でN:N検証比較を行う。
• MTCNNを検出/アライメントに用い、512-d埋め込みを用いる。ArcFaceはResNet-100 with MS1MV2 pretraining、SphereFaceは64-CNN with A-Softmax。ArcFaceはユークリッド距離、SphereFaceはコサイン距離を適用。
• 比較のために COTS MegaMatcher 11.2 SDK の評価を含める。
• FTX（抽出失敗）と検証指標（EER、FMR100、FMR1000、ZeroFMR）および setup 全体の ROC 曲線を報告する。

実験結果

リサーチクエスチョン

• RQ1 ノーマスクのベースラインとマスク済みプローブ条件全体で、マスクの着用が顔認識性能にどのような影響を与えるか？
• RQ2 マスク撮影時の追加照明は、認識性能をさらに低下させるか、または変化させるか？
• RQ3 マスク顔条件下で、最先端の学術系顔認識ソリューションとCOTSシステムはどのように比較されるか？
• RQ4 マスクが存在する場合、 genuine（真）と imposter（偽）スコア分布はどの程度シフトするか、また意思決定閾値への影響はどうなるか？

主な発見

• マスク顔プローブは真のスコア分布を impostor 分布に向かってシフトさせ、識別性と全体性能を低下させる。
• 追加照明（M2P）は、照明なし（M1P）と比較して一般に劣化の程度を大きくする。
• マスク付きプローブでは、ArcFaceとSphereFaceの検証指標（EER、FMR100、FMR1000、ZeroFMR）が劣化し、SphereFaceがArcFaceより影響を受けやすい。
• 伝統的指標ではCOTSはほぼ完璧な検証性能を維持するが、マスク付きプローブでは真のスコアに顕著なシフトがあり、潜在的な下流リスクを示す。
• 評価データセットが小規模でも真-偽識別分離性の損失が見られ、マスク顔認識の再評価とより大規模なデータセットが必要であることを示唆している。