[論文レビュー] Surveillance Face Presentation Attack Detection Challenge

Hao Fang, Ajian Liu+4 more|arXiv (Cornell University)|Apr 15, 2023

Biometric Identification and Security被引用数 5

ひとこと要約

本論文はCVPR 2023における監視用顔認識偽装検出チャレンジを提示し、101名の被験者から収集された10,195本の動画を含むSuHiFiMaskデータセットを紹介している。7台の主流な監視カメラを用いて、現実的で長距離の条件下で撮影されたものである。チャレンジでは37チームが画質変動に対する耐性を評価した。上位モデルは最小4.73%のACERを達成し、大規模かつ高精細な監視データが実世界の状況における顔の偽装検出技術の発展に有効であることを示している。

ABSTRACT

Face Anti-spoofing (FAS) is essential to secure face recognition systems from various physical attacks. However, most of the studies lacked consideration of long-distance scenarios. Specifically, compared with FAS in traditional scenes such as phone unlocking, face payment, and self-service security inspection, FAS in long-distance such as station squares, parks, and self-service supermarkets are equally important, but it has not been sufficiently explored yet. In order to fill this gap in the FAS community, we collect a large-scale Surveillance High-Fidelity Mask (SuHiFiMask). SuHiFiMask contains $10,195$ videos from $101$ subjects of different age groups, which are collected by $7$ mainstream surveillance cameras. Based on this dataset and protocol-$3$ for evaluating the robustness of the algorithm under quality changes, we organized a face presentation attack detection challenge in surveillance scenarios. It attracted 180 teams for the development phase with a total of 37 teams qualifying for the final round. The organization team re-verified and re-ran the submitted code and used the results as the final ranking. In this paper, we present an overview of the challenge, including an introduction to the dataset used, the definition of the protocol, the evaluation metrics, and the announcement of the competition results. Finally, we present the top-ranked algorithms and the research ideas provided by the competition for attack detection in long-range surveillance scenarios.

研究の動機と目的

• 長距離の状況下における大規模かつ現実的な監視ベースの顔認識偽装検出データセットの不足に対処する。
• 画像画質、個人識別子、攻撃タイプなどの実世界の変動を想定したFASアルゴリズムの評価を標準化したベンチマークプロトコルを構築する。
• 厳密な評価を伴う競争的チャレンジを主催することで、遠隔監視における顔認識偽装検出分野の研究進展を促進する。
• 公共の監視環境で一般的に見られる低解像度、ブレ、部分的遮断を伴う顔画像に対処できる耐性のあるモデルの開発を可能にする。

提案手法

• 101名の被験者から10,195本の動画を収集した大規模なデータセットであるSuHiFiMaskを構築。7台の主流な監視カメラを用い、照明、天候、姿勢の多様な条件下で撮影された。
• アルゴリズムの汎化性能をテストするため、IDシフト、マスクタイプシフト、画像画質変動を含むマルチプロトコル評価フレームワークを設計。
• 特徴量の区別を高めるために、標準的な深層学習訓練を実施。バックボーンネットワーク（例：Swin-Tiny、Swin-Base）を用い、クロスエントロピー損失とアングルマージン損失（ArcFace）を併用。
• モデルの汎化性能を向上させ、過学習を軽減するために、データオーグメンテーションおよびクラスバランス技術を適用。
• 収束を改善し、過学習を防ぐために、AdamW最適化手法を用い、コサイン減衰学習率スケジューリングと早期停止を実施。
• 最終的なモデル評価は、CodaLabを用いて保持されたテストセットで実施。主催者による再検証により、順位付けの公平性を確保。

Figure 1 : Progressive Training Strategy (PTS) and Dynamic Feature Queue (DFQ) module proposed by team of MateoH. The left side of the figure shows that PTS divides the original training set into a training subset and a pending set, and gradually adds hard samples from the pending set to the trainin

実験結果

リサーチクエスチョン

• RQ1 最先端の顔認識偽装検出モデルは、低解像度および劣化した画質を伴う現実的な長距離監視条件下で、どのように性能を発揮するか？
• RQ2 監視環境下でIDシフト、攻撃タイプシフト、画像画質変動が生じた場合、モデルの性能はどの程度低下するか？
• RQ3 SuHiFiMaskのような大規模かつ高精細なデータセットは、実世界の展開においてFASモデルの耐性および汎化性能を顕著に向上させ得るか？
• RQ4 限られた画像画質が特徴となる困難な監視環境において、顔認識偽装検出に最も効果的なアーキテクチャ的およびトレーニング戦略は何か？
• RQ5 データ前処理およびマルチブランチ特徴学習は、監視FASベンチマークにおけるモデルの安定性と性能にどのように寄与するか？

主な発見

• 最上位のチーム（MateoH）はACER4.73%を達成し、長距離監視環境下での偽装攻撃に対する強力な汎化性能と耐性を示した。
• 上位9チーム中8チームが業界機関から出場しており、監視FASの実用的・商業的意義が顕著に表れている。
• 上位9チームのACERスコアは4.73%から12.00%の範囲に分布しており、顕著な性能差が確認され、チャレンジの難易度が裏付けられた。
• 大規模なバックボーンネットワーク（例：Swin-Tiny、Swin-Base）は、小規模モデルを上回る性能を示し、モデルスケールが低画質監視データに対処する上で重要な要因であることが示された。
• マルチブランチ特徴学習およびデータオーグメンテーション技術は広く採用され、モデルの安定性と性能向上に寄与した。
• チャレンジの結果、現在のFASモデルは極端な劣化に対して依然として困難を抱えていることが示され、今後の研究において高精度なスーパーレゾリューションおよび特徴回復手法の開発が不可欠であると示唆された。

Figure 2 : The framework of team CTEL_AI. The training set and the development set are divided into two different domains. After that, ViT-Large model is used to extract the features of the input images. Cross-entropy loss and adversarial loss are used to optimize the encoder to guide the encoder to