[論文レビュー] Masked Face Recognition Dataset and Application

Zhongyuan Wang, Guangcheng Wang+12 more|arXiv (Cornell University)|Mar 20, 2020

Face recognition and analysis参考文献 7被引用数 229

ひとこと要約

本論文は3つのマスク顔データセット（MFDD、RMFRD、SMFRD）と、マスク着用時の顔の目元に基づくマルチ粒度モデルを提案し、マスク顔認識で95%の精度を達成する。

ABSTRACT

In order to effectively prevent the spread of COVID-19 virus, almost everyone wears a mask during coronavirus epidemic. This almost makes conventional facial recognition technology ineffective in many cases, such as community access control, face access control, facial attendance, facial security checks at train stations, etc. Therefore, it is very urgent to improve the recognition performance of the existing face recognition technology on the masked faces. Most current advanced face recognition approaches are designed based on deep learning, which depend on a large number of face samples. However, at present, there are no publicly available masked face recognition datasets. To this end, this work proposes three types of masked face datasets, including Masked Face Detection Dataset (MFDD), Real-world Masked Face Recognition Dataset (RMFRD) and Simulated Masked Face Recognition Dataset (SMFRD). Among them, to the best of our knowledge, RMFRD is currently theworld's largest real-world masked face dataset. These datasets are freely available to industry and academia, based on which various applications on masked faces can be developed. The multi-granularity masked face recognition model we developed achieves 95% accuracy, exceeding the results reported by the industry. Our datasets are available at: https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset.

研究の動機と目的

• 公開されている深層学習ベースの認識のためのマスク顔データセットが不足している点に対処する。
• マスク顔検出とマスク顔認識のデータセットを作成する（現実世界とシミュレーションの両方）。
• マスク遮蔽下で見える顔の特徴（目元、上半顔）を活用するマスク顔認識モデルを開発する。

提案手法

• 検出タスクのために収集したマスク画像をラベリングし注釈を付与してMFDDを構築する。
• 公開人物の画像をクロールしマスクあり/なしの顔をペアにしてRMFRDを構築し、手動でクリーンアップと注釈を行う。
• Dlibを基にしたマスク着用ツールを用いて大規模な既存顔データセット（LFW、WebFace）へ自動的にマスクを適用してSMFRDを作成する。
• 見える領域（目、眼周囲、額、輪郭）からの特徴を重み付けしてマスク着用下での認識を向上させるマルチグラニュラリティ認識モデルを開発する。
• 構築したデータセット上でモデルを訓練・評価し、最大で95%の精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 検出および認識のための深層学習を支える公開されたマスク顔データセットをどのように構築できるか。
• RQ2 実世界データとシミュレーションデータのどちらのデザインが、マスク顔認識性能をより向上させるか。
• RQ3 目と顔周辺に基づくマルチグラニュラリティモデルは、マスクによる partially occluded の場合に認識精度を向上させられるか。

主な発見

• MFDDには検出学習に適した24,771枚のマスク顔画像が含まれる。
• RMFRDには5,000枚のマスク画像と90,000枚の非マスク画像、525名の個人が含まれ、世界最大級の現実世界マスク顔データセットとされている。
• SMFRDはLFWとWebFaceに自動でマスクを適用することで最大50万枚のマスク顔画像、1万人の被写体を提供する。
• 提案されたマルチグラニュラリティモデルは、マスク顔認識精度をベースライン（概ね50%）から95%へ改善する。
• 産業界のマスク顔認識精度は現実世界の条件で約85-90%の範囲にあるが、著者らは自らの設定で95%を達成している。