[論文レビュー] The Effect of Wearing a Face Mask on Face Image Quality

Biying Fu, Florian Kirchbuchner+1 more|arXiv (Cornell University)|Oct 21, 2021

Face recognition and analysis参考文献 33被引用数 4

ひとこと要約

本研究では、最先端の顔画像品質評価（FIQA）手法を用いて、マスクが顔画像の品質をどの程度低下させるかを調査している。実マスク、シミュレートマスク、およびマスクなしの顔を比較し、マスクが顔認識性能に顕著な悪影響を及えることを明らかにした。特に、シミュレートマスクは実マスクと比較して一貫性のない影響を示し、FIQAネットワークがマスク領域にあまり注目しないことが判明した。これは、特に合成マスクにおいてはテクスチャーや色のアーティファクトが原因である。

ABSTRACT

Due to the COVID-19 situation, face masks have become a main part of our daily life. Wearing mouth-and-nose protection has been made a mandate in many public places, to prevent the spread of the COVID-19 virus. However, face masks affect the performance of face recognition, since a large area of the face is covered. The effect of wearing a face mask on the different components of the face recognition system in a collaborative environment is a problem that is still to be fully studied. This work studies, for the first time, the effect of wearing a face mask on face image quality by utilising state-of-the-art face image quality assessment methods of different natures. This aims at providing better understanding on the effect of face masks on the operation of face recognition as a whole system. In addition, we further studied the effect of simulated masks on face image utility in comparison to real face masks. We discuss the correlation between the mask effect on face image quality and that on the face verification performance by automatic systems and human experts, indicating a consistent trend between both factors. The evaluation is conducted on the database containing (1) no-masked faces, (2) real face masks, and (3) simulated face masks, by synthetically generating digital facial masks on no-masked faces. Finally, a visual interpretation of the face areas contributing to the quality score of a selected set of quality assessment methods is provided to give a deeper insight into the difference of network decisions in masked and non-masked faces, among other variations.

研究の動機と目的

• 顔マスクが顔認識性能の低下に与える影響を理解すること。これは顔認識性能の低下要因として重要であるが、まだ十分に研究されていない要因である。
• 実マスクとシミュレートマスクが顔画像品質および認証性能に与える影響を比較すること。
• 顔画像品質評価（FIQA）手法が自動顔認識と人間の専門家による評価の両者と相関しているかどうかを分析すること。
• FIQAネットワークの注目メカニズムを可視化し、解釈することで、マスクあり・なしの顔に対する意思決定の違いを理解すること。
• シミュレートマスクにおけるマスクの色や形状の変化がFIQAスコアおよびネットワークの注目パターンに与える影響を評価すること。

提案手法

• 4つの最先端の顔画像品質評価（FIQA）手法（MagFace、FaceQnet、および他の2つの未名記載手法）を用い、異なるマスク状況下での画像品質を定量化した。
• 3つのカテゴリ（マスクなし顔：No-M、実顔マスク：Real-M、シミュレート顔マスク：Sim-M）を含む制御されたデータベースを構築した。
• 標準化されたタイプ（A–F）および色を用いてシミュレートマスクを適用した。これは先行研究[27]で定義されたものと同一であり、タイプCマスクについてはランダムな色変更を加えた。
• スコアCAM可視化を用いてFIQAネットワークの注目マップを解釈し、品質スコアに最も寄与する顔領域を同定した。
• 商用システム（COTS FRシステム）と人間の専門家を用いて顔認証性能を評価し、FIQAスコアと照合した。
• 実マスクおよびシミュレートマスクの両方において、FIQAスコア、認証精度、人間の判断との相関を評価するための制御実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 顔マスク着用が最先端のFIQA手法で測定された顔画像品質に与える影響は何か？
• RQ2 マスクによる顔画像品質の低下は、自動システムおよび人間の専門家による顔認証性能の低下と一致するか？
• RQ3 シミュレートマスクと実マスクの両者において、顔画像品質および認証性能への影響はどのように比較できるか？
• RQ4 シミュレートマスクが画像品質に与える影響は、顔認証性能への影響と相関しているか？また、実マスクと比較してその相関関係はどのように異なるか？
• RQ5 FIQAネットワークはどの顔領域に最も注目しているか？また、色や形状が異なる実マスクとシミュレートマスクを処理する際、注目パターンはどのように変化するか？

主な発見

• すべての4つのFIQA手法において、マスク着用により顔画像品質が顕著に低下しており、顔認識タスクにおける画像の有用性が一貫して低下していることが示された。
• マスクによる顔画像品質の低下は、自動システムおよび人間の専門家による顔認証性能の低下と強く相関しており、品質低下が性能低下の主な要因である可能性を示している。
• シミュレートマスクは実マスクが引き起こす品質低下を完全に再現できていない。これは、合成マスクの適用が現実世界の視覚的およびテクスチャ的効果を完全に再現していないことを示唆している。
• シミュレートマスクにおけるマスクの色の変化がFIQAネットワークの注目とスコアに影響を与え、神経ネットワークが非可視領域のピクセルレベルの変化に対しても感受性を示していることが判明した。
• FIQAネットワークはマスク領域（特に鼻および下顔面）に注目する割合が低下しており、特にシミュレートマスクでは顕著である。これは、被覆領域への依存性が低下していることを示唆している。
• 実マスクとシミュレートマスクの両方において、FIQAモデルの注目パターンに差が認められた。実マスクでは、遮蔽があっても顔の可視構造に洗練された注目を示したが、シミュレートマスクでは可視領域にのみ注目し、微細なテクスチャーヒントを無視する傾向が見られた。