[論文レビュー] Masked Face Recognition Challenge: The WebFace260M Track Report

Zheng Zhu, Guan Huang+10 more|arXiv (Cornell University)|Aug 16, 2021

Face recognition and analysis参考文献 24被引用数 24

ひとこと要約

この論文は Masked Face Recognition Challenge の WebFace260M Track を報告し、データセット、FRUITS 評価プロトコル、テストセット、提出ルール、ベースライン、マスク有無の実世界条件下での第一段階の結果を詳述する。

ABSTRACT

According to WHO statistics, there are more than 204,617,027 confirmed COVID-19 cases including 4,323,247 deaths worldwide till August 12, 2021. During the coronavirus epidemic, almost everyone wears a facial mask. Traditionally, face recognition approaches process mostly non-occluded faces, which include primary facial features such as the eyes, nose, and mouth. Removing the mask for authentication in airports or laboratories will increase the risk of virus infection, posing a huge challenge to current face recognition systems. Due to the sudden outbreak of the epidemic, there are yet no publicly available real-world masked face recognition (MFR) benchmark. To cope with the above-mentioned issue, we organize the Face Bio-metrics under COVID Workshop and Masked Face Recognition Challenge in ICCV 2021. Enabled by the ultra-large-scale WebFace260M benchmark and the Face Recognition Under Inference Time conStraint (FRUITS) protocol, this challenge (WebFace260M Track) aims to push the frontiers of practical MFR. Since public evaluation sets are mostly saturated or contain noise, a new test set is gathered consisting of elaborated 2,478 celebrities and 60,926 faces. Meanwhile, we collect the world-largest real-world masked test set. In the first phase of WebFace260M Track, 69 teams (total 833 solutions) participate in the challenge and 49 teams exceed the performance of our baseline. There are second phase of the challenge till October 1, 2021 and on-going leaderboard. We will actively update this report in the future.

研究の動機と目的

• 現実世界でのマスク使用が一般化する COVID-19 の中で、堅牢なマスク顔認識（MFR）の動機づけ。
• WebFace260M データセットと FRUITS プロトコルを活用し、推論時の制約下で MFR を評価する。
• Controlled, Wild, Cross-age の実世界様々な条件で SFR と MFR の大規模で現実的なテストセットを構築する。
• ベースライン解法と基準性能を提供し、実用的な MFR の今後の研究を導く。

提案手法

• FRUITS プロトコルを採用して、単一 CPU コア（1000 ms 制限）での推論時制約付き性能を測定する。
• 2,478 の識別子と 60,926 のマスク顔を含む新しいテストセットを作成し、SFR/テストセットの属性（Controlled, Wild, Cross-age）を詳述する。
• FNMR を固定 FMR 閾値で 1:1 検証を用い、設定全体（All, Wild, Controlled）でマスク有無の性能を比較する。
• マスク有無を含む SFR と MFR の評価指標を、最終スコアを重み付けして均衡化する（All (MFR&SFR) = 0.25 All-Masked + 0.75 All(SFR)）。
• 再現可能なベースラインモデル（ArcFace 損失を用いた ResNet-50）と、フェアな比較のための Gluon ベースのコードベースを提供する。

実験結果

リサーチクエスチョン

• RQ1 実用的な推論時制約下でのリアルワールドのマスク顔認識は、マスクなしの顔認識と比較してどうなるか？
• RQ2 テスト条件（Controlled, Wild, Cross-age）ごとにマスク着用が MFR と SFR の性能に与える影響は？
• RQ3 大規模で公開可能な学習データ（WebFace260M）は、MFR における学術と産業のギャップを縮められるか？
• RQ4 FRUITS の制約下で、顔検出/アラインメントのコストが全体の待機時間に対してどの程度寄与しているか？

主な発見

• 第一フェーズ参加: 69 チームが 833 解法を提出；49 チームがベースラインを超えた。
• All (MFR&SFR) 指標のトップは 0.0980; Controlled (MFR&SFR) 0.0500; Wild (MFR&SFR) 0.1222; All (SFR) 0.0162; Wild (SFR) 0.0270; Controlled (SFR) 0.0018。
• ベースラインモデル（ResNet-50 と ArcFace、WebFace12M）は FNMR@FMR=1e-5 を All MFR&SFR で 0.2342、Wild MFR&SFR で 0.2816、Controlled MFR&SFR で 0.1483、All SFR で 0.0871。
• テストセット統計には 2,478 識別子と 57,715 SFR 顔、さらに 3,211 のマスク顔 from 862 識別子（All-Masked）を含む。
• ベースラインのテスト時間と認識時間のコスト: 検出 157 ms、認識 172 ms、合計 329 ms。
• リセットとランキング基準は、マスク有り/無しデータへの過学習を緩和するために MFR と SFR のスコアを組み合わせる。