[論文レビュー] Masked Face Recognition for Secure Authentication

Aqeel Anwar, Arijit Raychowdhury|arXiv (Cornell University)|Aug 25, 2020

Face recognition and analysis参考文献 15被引用数 147

ひとこと要約

本論文は MaskTheFace というマスク顔データセットを生成するオープンソースツールを紹介し、Facenet を再訓練してマスク顔認識を約38%の真陽性率（TP）向上させ、LFW-SM および実世界データ MFR2 で堅牢な性能を達成する。

ABSTRACT

With the recent world-wide COVID-19 pandemic, using face masks have become an important part of our lives. People are encouraged to cover their faces when in public area to avoid the spread of infection. The use of these face masks has raised a serious question on the accuracy of the facial recognition system used for tracking school/office attendance and to unlock phones. Many organizations use facial recognition as a means of authentication and have already developed the necessary datasets in-house to be able to deploy such a system. Unfortunately, masked faces make it difficult to be detected and recognized, thereby threatening to make the in-house datasets invalid and making such facial recognition systems inoperable. This paper addresses a methodology to use the current facial datasets by augmenting it with tools that enable masked faces to be recognized with low false-positive rates and high overall accuracy, without requiring the user dataset to be recreated by taking new pictures for authentication. We present an open-source tool, MaskTheFace to mask faces effectively creating a large dataset of masked faces. The dataset generated with this tool is then used towards training an effective facial recognition system with target accuracy for masked faces. We report an increase of 38% in the true positive rate for the Facenet system. We also test the accuracy of re-trained system on a custom real-world dataset MFR2 and report similar accuracy.

研究の動機と目的

• COVID-19 によるマスク顔の認識精度低下に対処する。
• データの再収集を行わず、既存の未マスクデータセットをマスク版で増強して利用できるようにする。
• 既存データセットからマスク顔データセットを作成する MaskTheFace の開発と公開。
• シミュレーションおよび実データのマスク付きデータセットを用いて Facenet のマスク顔認識性能を評価する。

提案手法

• dlib ベースのランドマークを用いて顔をマスク化し、24パターンとさまざまな角度で5種類のマスクを適合させる MaskTheFace を開発。
• 新しい写真を収集せずに、既存データセット（例：VGGFace2 mini）からマスク顔データセットを生成。
• マスクありおよびマスクなしデータで Facenet 埋め込み（Inception-ResNet-v1、埋め込みサイズ 512）を訓練。
• 複数のテストセットで Max Accuracy、ACC@FAR=0.1%、および TPR@FAR=0.1% の指標を用いて性能を評価。
• マスクなしデータで訓練したネットワークと MaskTheFace 増強データで訓練したネットワークを比較し、マスク有無の組み合わせに対する頑健性を評価。

実験結果

リサーチクエスチョン

• RQ1 データを再収集せずに、マスク顔を用いて最先端の顔認識システムを効果的に訓練・改善できるか？
• RQ2 シミュレートされたマスク顔で訓練されたネットワークは、実世界のマスク顔データでどのように性能を示すか？
• RQ3 マスキングが、マスクあり訓練とマスクなし訓練の認識性能指標（精度、FAR、TPR）に与える影響はどの程度か？

主な発見

• MaskTheFace を利用した再訓練により、マスクあり・なしの顔で Facenet の真陽性率が約38%向上。
• 再訓練されたマスクネットワークは、いくつかのクロスデータセットペアでノーマスクネットワークと同等、あるいはわずかに優れた性能を達成。
• LFW-SM では、マスクタイプを横断してマスクネットワークが堅牢な精度を維持し、TPR@FAR=0.1% の劣化をノーマスクネットワークと比べて減少。
• 実世界データセット MFR2 では、マスクネットワークはノーマスクネットワークに対して ~34% (TPR@FAR=0.2%)、 ~17% (Accuracy@FAR=0.2%)、および ~6% (Max accuracy) の改善を示す。
• MFR2 におけるマスクネットワークの性能は LFW-SM の結果に近く、実世界のマスク顔への頑健性を示している。