[論文レビュー] Analysis of face detection, face landmarking, and face recognition performance with masked face images

Ožbej Golob|arXiv (Cornell University)|Jun 3, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本研究では、HOGおよびCNN検出器、5点および68点ランドマーク予測器、VGG16ベースの顔認識モデルを用いて、マスク着用が顔検出、ランドマーク検出、認識に与える影響を評価した。結果として、マスクによる閉塞によってすべてのタスクで顕著な性能低下が生じ、顔認識の正確性はマスク画像で9.9%低下したが、マスク画像で微調整を行うことで正確性が95.2%まで向上した。

ABSTRACT

Face recognition has become an essential task in our lives. However, the current COVID-19 pandemic has led to the widespread use of face masks. The effect of wearing face masks is currently an understudied issue. The aim of this paper is to analyze face detection, face landmarking, and face recognition performance with masked face images. HOG and CNN face detectors are used for face detection in combination with 5-point and 68-point face landmark predictors and VGG16 face recognition model is used for face recognition on masked and unmasked images. We found that the performance of face detection, face landmarking, and face recognition is negatively impacted by face masks

研究の動機と目的

• マスク着用が顔検出、ランドマーク検出、認識性能に与える影響を評価すること。
• マスクによる閉塞下におけるHOGおよびCNN顔検出器の頑健性を評価すること。
• マスク着用によって5点および68点顔ランドマーク検出の正確性がどの程度低下するかを測定すること。
• 事前学習済みのVGG16モデルをマスク画像で微調整することで、認識正確性が向上するかを調査すること。
• 複数のベンチマークデータセットを用いて、マスク有無の両状況下での性能低下の程度を定量化すること。

提案手法

• 顔検出は、Dlibに実装されたHOGベースおよびCNNベースの検出器を用いて行った。
• ランドマーク検出は、5点および68点予測器について、瞳孔間距離（IOD）を基準とした正規化平均二乗誤差（NRMSE）を用いて評価した。
• NRMSEは、各画像について、正解座標と予測座標のユークリッド距離をIODで正規化して計算した。
• 顔認識には、最終全結合層をソフトマックス分類器に置き換えた微調整済みVGG16モデルを用いた。
• VGG16モデルはまず未マスク画像で学習し、その後CASIAデータセットのマスク画像で再学習した。
• 性能評価は、LFPW、HELEN、AFW、IBUGの4つのイン・ザ・ワイルドデータセットで行った。マスク画像バージョンは、MaskTheFaceツールを用いて生成した。

実験結果

リサーチクエスチョン

• RQ1 マスクによる閉塞は、HOGおよびCNNベースの顔検出器の正確性にどのように影響するか？
• RQ2 マスク着用は、5点および68点顔ランドマーク検出モデルの性能をどの程度低下させるか？
• RQ3 事前学習済みVGG16モデルを用いた場合、マスク画像を用いた顔認識正確性は未マスク画像と比較してどのように変化するか？
• RQ4 マスク画像で顔認識モデルを微調整することで、性能低下を緩和できるか？
• RQ5 マスクによる閉塞は、顔認識パイプラインのどのコンponentに相対的に大きな影響を与えるか？

主な発見

• HOG顔検出器の正確性は、未マスク画像では89.0%であったが、マスク画像では64.7%に低下し、平均で24.3ポイント低下した。
• CNN顔検出器の正確性は、未マスク画像では98.5%であったが、マスク画像では77.8%に低下し、平均で20.7ポイント低下した。
• 68点ランドマーク検出のNRMSEは、HOG検出器を用いた場合、マスク画像で0.066から0.171（約3倍）に上昇した。CNN検出器を用いた場合、0.115から0.214（約2倍）に上昇した。
• 5点ランドマーク検出のNRMSEは、HOG検出器を用いた場合、マスク画像で0.060から0.128（2倍）に上昇した。CNN検出器を用いた場合、0.067から0.129（2倍）に上昇した。
• VGG16モデルを未マスク画像で事前学習した場合、マスク画像での顔認識正確性は96.6%（未マスク時）から86.7%に低下した。
• VGG16モデルをマスク画像で微調整することで、マスク画像での認識正確性が95.2%まで向上し、ドメイン特化適応の有効性が示された。