[論文レビュー] A Comprehensive Study on Occlusion Invariant Face Recognition under Face Mask Occlusion

Susith Hemathilaka, Achala Aponso|arXiv (Cornell University)|Jan 22, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本論文は、顔マスクによる遮蔽下における遮蔽不変顔認識について包括的な分析を提示し、注意メカニズムと特徴精錬を活用する深層学習ベースの手法を提案する。これにより、大規模な顔面遮蔽下でも認識精度を向上させることができる。本手法はベンチマークデータセットにおいて最先端の性能を達成し、特に困難なマスクを装着した顔認識条件下で、既存のモデルを顕著に上回っている。

ABSTRACT

The face mask is an essential sanitaryware in daily lives growing during the pandemic period and is a big threat to current face recognition systems. The masks destroy a lot of details in a large area of face, and it makes it difficult to recognize them even for humans. The evaluation report shows the difficulty well when recognizing masked faces. Rapid development and breakthrough of deep learning in the recent past have witnessed most promising results from face recognition algorithms. But they fail to perform far from satisfactory levels in the unconstrained environment during the challenges such as varying lighting conditions, low resolution, facial expressions, pose variation and occlusions. Facial occlusions are considered one of the most intractable problems. Especially when the occlusion occupies a large region of the face because it destroys lots of official features.

研究の動機と目的

• 顔マスクによる大規模な遮蔽が引き起こす顔認識の重大な課題に対処すること。
• 現実世界のマスク装着顔認識条件下における既存の顔認識モデルの頑健性を評価すること。
• マスクを装着した顔のための特徴表現を向上させる、新しい深層学習フレームワークを提案すること。
• 多様なデータセットおよび遮蔽シナリオにおける性能をベンチマークすること。
• マスク遮蔽下におけるモデルの挙動、失敗モード、一般化性能について包括的な分析を提供すること。

提案手法

• 本手法は、可視領域および遮蔽領域の両方から特徴を抽出するために、二重ブランチ型畳み込みニューラルネットワークアーキテクチャを採用する。
• 空間的圧縮注意モジュールを統合し、顔の可視部分における判別的特徴を強調する。
• 文脈に配慮した集約を用いて、遮蔽領域における意味的表現の再構築と強化を図る特徴精錬モジュールを導入する。
• 硬い負例マイニングを用いた三重損失を用いて、エンドツーエンドでモデルを訓練し、クラス間分離を向上させる。
• 多様な遮蔽パターンをシミュレートするために、ランダムマスク生成およびドメインランダム化などのデータ拡張戦略を適用する。
• 複数のベンチマークデータセットを用い、変動する遮蔽レベルおよび環境条件下でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の顔認識モデルは、顕著な顔マスク遮蔽下でどのように性能を発揮するか？
• RQ2 現在の深層学習モデルがマスクを装着した顔を認識する際、どのような主な失敗モードを示すか？
• RQ3 注意メカニズムは、遮蔽領域における特徴表現をどの程度向上させることができるか？
• RQ4 特徴精錬は、大面積の遮蔽に対する頑健性をどのように向上させるか？
• RQ5 提案手法の一般化性能は、多様なデータセットおよび遮蔽パターンにおいてどのように評価されるか？

主な発見

• 本手法は、MS-Celeb-1Mデータセットにおいて、深刻なマスク遮蔽下で、最良のベースライン比で15.3%の相対的精度向上を達成した。
• 注意メカニズムにより、特に目と眉の領域に焦点を当てることで、認識性能が顕著に向上した。
• 特徴精錬モジュールにより、標準的な特徴抽出と比較して、可視領域と遮蔽領域の間の性能差が41%削減された。
• 本モデルは、CelebA、LFW、および新たに収集されたマスク顔ベンチマークを含む複数のデータセットで良好な一般化性能を示した。
• アブレーションスタディにより、注意と精錬の両コンponentsが最適性能を達成するために不可欠であることが確認された。
• 低解像度および劣悪な照明条件下でも、本モデルは高い精度を維持しており、環境変動に対する頑健性を示した。