[論文レビュー] The Effect of Wearing a Mask on Face Recognition Performance: an Exploratory Study

Naser Damer, Jonas Henry Grebe+4 more|arXiv (Cornell University)|Jul 27, 2020

Face recognition and analysis参考文献 14被引用数 33

ひとこと要約

この論文は、現実世界のマスクが3つの顔認識システム（ArcFace、SphereFace、および商用ソリューション）にどのように影響するかを研究するために特定の収集データセットを提示し、特に追加照明下でマスク済みプローブの genuine–imposter separability が著しく低下することを発見しています。

ABSTRACT

Face recognition has become essential in our daily lives as a convenient and contactless method of accurate identity verification. Process such as identity verification at automatic border control gates or the secure login to electronic devices are increasingly dependant on such technologies. The recent COVID-19 pandemic have increased the value of hygienic and contactless identity verification. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition in a collaborative environment is currently sensitive yet understudied issue. We address that by presenting a specifically collected database containing three session, each with three different capture instructions, to simulate realistic use cases. We further study the effect of masked face probes on the behaviour of three top-performing face recognition systems, two academic solutions and one commercial off-the-shelf (COTS) system.

研究の動機と目的

• ヘルス関連の遮蔽（マスク）下での顔認識評価を協調的な設定で実施することを動機づける。
• ログイン/身元検証シナリオを模倣するため、3セッションからなる現実的なマスク顔データベースの初版を提供する。
• マスク付きプローブが最先端の学術系および商用顔認識システムに与える影響を分析する。
• スコア分布と検証指標の変化を定量化し、今後のデータセットおよび手法開発を導く。

提案手法

• 各被験者につき3セッションと3つの取得条件（ベースライン、マスク、照明付きマスク）を含む新しいデータセットを導入する。
• マスクあり/なしのプローブに対して3つの顔認識解決策（ArcFace、SphereFace、NeurotechnologyのCOTS）を評価する。
• 検出/アライメントにはMTCNNを用い、512次元の特徴ベクトルを用いる。ArcFaceのユークリッド距離と SphereFaceのコサイン距離とを比較する。
• 実験全体でFTXと標準的な検証指標（EER、FMR100、FMR1000、ZeroFMR）およびROC曲線を報告する。

実験結果

リサーチクエスチョン

• RQ1 マスクを着用することは、最先端の顔認識システムにおける genuine と imposter のスコア分布にどのような影響を与えるか？
• RQ2 追加照明はマスク着用とどの程度相互作用して認識性能に影響を与えるか？
• RQ3 学術系（ArcFace、SphereFace）と商用系（COTS）のシステムは、検証指標とスコア分離の観点で、マスク付きプローブに対して異なる反応を示すのか？

主な発見

• マスク付きプローブは genuine のスコア分布を imposter の分布へと移動させ、分離性を低下させ、ArcFace、SphereFace、およびCOTS にわたって検証性能を低下させる。
• 追加照明（光付きマスク）は、マスク付きプローブの性能をさらに悪化させる。新たな反射・影パターンが原因と考えられる。
• マスク付きプローブ下でArcFaceとSphereFaceはEER、FMR100、FMR1000、ZeroFMRの明らかな低下を示す。SphereFaceはArcFaceよりも劣化が大きい。
• COTSは検証指標ではほぼ完璧に近いが、genuine スコアの大きな変化を示しており、マスク下での決定境界が変化していることを示唆している。
• FTX（抽出失敗）はマスクの増加とともに増加し、マスク環境での検出/特徴抽出の課題を示している。