[論文レビュー] Masked Face Recognition using ResNet-50

Bishwas Mandal, Adaeze Okeukwu+1 more|arXiv (Cornell University)|Apr 19, 2021

Face recognition and analysis参考文献 18被引用数 70

ひとこと要約

本論文は、事前学習済みの ResNet-50 モデルをマスク顔認識用に微調整し、RMFRD データを用いて未マスク顔で約 89.7% の精度、マスク顔で 47.9% の精度を達成した。

ABSTRACT

Over the last twenty years, there have seen several outbreaks of different coronavirus diseases across the world. These outbreaks often led to respiratory tract diseases and have proved to be fatal sometimes. Currently, we are facing an elusive health crisis with the emergence of COVID-19 disease of the coronavirus family. One of the modes of transmission of COVID- 19 is airborne transmission. This transmission occurs as humans breathe in the droplets released by an infected person through breathing, speaking, singing, coughing, or sneezing. Hence, public health officials have mandated the use of face masks which can reduce disease transmission by 65%. For face recognition programs, commonly used for security verification purposes, the use of face mask presents an arduous challenge since these programs were typically trained with human faces devoid of masks but now due to the onset of Covid-19 pandemic, they are forced to identify faces with masks. Hence, this paper investigates the same problem by developing a deep learning based model capable of accurately identifying people with face-masks. In this paper, the authors train a ResNet-50 based architecture that performs well at recognizing masked faces. The outcome of this study could be seamlessly integrated into existing face recognition programs that are designed to detect faces for security verification purposes.

研究の動機と目的

• COVID-19の影響でマスクを着けた顔で身元を識別する際の課題を調査する。
• 事前学習済みの ResNet-50 での転移学習がマスク顔認識に適応できるか評価する。
• 遮蔽が認識性能に与える影響を評価し、効果的な訓練戦略を特定する。
• マスク顔認識のためのハイパーパラメータ調整とアーキテクチャ上の考慮事項を詳細に提供する。

提案手法

• 未マスク顔で事前学習済み ResNet-50 モデルをファインチューニングして転移学習を適用する。
• 遮蔽下での認識能力を評価するため、ファインチューニング済みモデルをマスク顔データで評価する。
• データ拡張（ランダム水平反転）とデータセット前処理を 180x180 入力に適用して実験する。
• パフォーマンスを最大化するため、バッチサイズ、オプティマイザ、ドロップアウト、学習率、エポック数を含むハイパーパラメータ調整を実施する。
• 70/30 の訓練/検証分割と、1クラスあたりの 8 枚画像要件を満たす 77 クラスを含む RMFRD 実世界のマスク顔データセットを使用する。

実験結果

リサーチクエスチョン

• RQ1 未マスク顔で事前学習済みの ResNet-50 ベースのモデルは、マスクをした顔で個人を正確に識別できるか？
• RQ2 転移学習とハイパーパラメータ調整を用いた場合、未マスク顔とマスク顔の性能はどのように異なるか？
• RQ3 データと訓練戦略（データ拡張、切り抜き、ドメイン適応）がマスク顔認識性能にどのような影響を与えるか？
• RQ4 ResNet-50 を用いたマスク顔認識の最適なハイパーパラメータ（オプティマイザ、バッチサイズ、ドロップアウト、学習率、エポック数）は何か？

主な発見

データの種類	適合率	再現率	F1スコア
unmasked	0.8933	0.8970	0.897
masked	0.4613	0.4719	0.4473

• 未マスク顔で事前学習済み ResNet-50 をファインチューニングすると、精度 89.7016%、適合率 0.8993、再現率 0.8970、F1 0.897 を得られる。
• マスク顔では、最良の結果は 47.91% の精度で、0.4613、0.4719、0.4473 の F1。
• データの不均衡（未マスク画像がマスク画像よりはるかに多い）と遮蔽により、マスク顔認識の性能は未マスク顔認識と比較して低下する。
• ハイパーパラメータ調整（SGD から Adam への切替、バッチサイズ、ドロップアウト、学習率の調整）により、マスク顔の精度は約 21% から 44.73%（F1として報告）へ向上。
• 本研究は、遮蔽が顔認識の CNN にとって大きな課題であると結論づけ、将来の技術として、模擬マスクを用いたデータ拡張やドメイン適応などを提案している。