[論文レビュー] CASIA-SURF: A Large-scale Multi-modal Benchmark for Face Anti-spoofing

Shifeng Zhang, Ajian Liu+6 more|arXiv (Cornell University)|Aug 28, 2019

Biometric Identification and Security参考文献 60被引用数 17

ひとこと要約

本稿では、1,000名の被験者、21,000本の動画、3つのモダリティ（RGB、深度、赤外線）を備えた大規模なマルチモーダル顔偽造検出ベンチマーク「CASIA-SURF」を紹介する。マルチモーダルでスケールに応じた特徴再重み付けを施す統合手法を提案し、最先端の性能を達成するとともに、クロスデータセット評価においても優れた汎化性能を示した。

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing in terms of both subjects and modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). We also provide comprehensive evaluation metrics, diverse evaluation protocols, training/validation/testing subsets and a measurement tool, developing a new benchmark for face anti-spoofing. Moreover, we present a novel multi-modal multi-scale fusion method as a strong baseline, which performs feature re-weighting to select the more informative channel features while suppressing the less useful ones for each modality across different scales. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. The dataset is available at https://sites.google.com/qq.com/face-anti-spoofing/welcome/challengecvpr2019?authuser=0

研究の動機と目的

• 十分な被験者多様性とモダリティ多様性を備えた大規模でマルチモーダルな顔偽造検出データセットの不足を解消すること。
• 被験者数が少ない（≤170）、モダリティ数が限られている（≤2）、評価の多様性が不足しているなどの既存ベンチマークの限界を克服すること。
• 標準的な誤差率を超えて、実世界の応用要件をよりよく反映するため、ROC曲線を含む包括的な評価メトリクスを提供すること。
• 標準化されたトレーニング／検証／テスト分割と測定ツールを備えた、再現性と公平な比較を保証する強固なベンチマークを構築すること。
• CASIA-SURFでトレーニングされたモデルの汎化能力を、CASIA-MFSDや他のベンチマークにおけるクロスデータセット評価を通じて実証すること。

提案手法

• RealSenseカメラを用いて1,000名の被験者から21,000本の動画を収集し、RGB、深度、赤外線の3モダリティを同時に取得する。
• 異なるスケールでモダリティに依存する特徴再重み付けを実行する、新規のマルチモーダルマルチスケール統合ネットワークを導入する。
• 各モダリティごとに、情報量が少ないチャネル特徴を適応的に抑制し、より識別性の高い特徴を強化する。
• 複数の受容野をカバーする空間的およびチャネルレベルの表現を捉えるため、マルチスケール特徴抽出戦略を採用する。
• 一貫性と公平性を確保するため、測定ツールと標準化された評価プロトコル（クロスデータセットテストを含む）を活用する。
• 実世界の展開ニーズをよりよく反映するため、主評価指標としてROC曲線を採用する。特に、偽陽性率が低い状況での性能評価に有効である。

実験結果

リサーチクエスチョン

• RQ1 大規模でマルチモーダルな顔偽造検出ベンチマークは、多様な攻撃タイプに対し、モデルの汎化性能と性能を顕著に向上させることができるか？
• RQ2 モダリティ固有の再重み付けを施したマルチモーダル特徴統合は、偽装検出精度の向上にどの程度有効か？
• RQ3 CASIA-SURFでトレーニングされたモデルは、より小さなデータセットでトレーニングされたモデルと比較して、CASIA-MFSDなどの既存ベンチマークで優れた性能を示すか？
• RQ4 従来の指標（APCER や NPCER）と比較して、ROC曲線に基づく指標は、実世界の適用性をどの程度よく反映しているか？
• RQ5 提案されたマルチスケール統合手法は、イントラおよびクロスデータセット評価プロトコルの両方で、既存の最先端手法を上回る性能を発揮できるか？

主な発見

• 提案されたマルチモーダルマルチスケール統合モデルは、CASIA-SURFでACER 0.80%、APCER 1.27%、NPCER 0.33%を達成し、優れた検出性能を示した。
• クロスデータセット評価では、CASIA-SURFでトレーニングされたモデルがCASIA-MFSDでHTER 37.3%を達成し、Replay-Attackでトレーニングされたモデル（47.9%）やSiWでトレーニングされたモデル（39.4%）を上回った。
• CASIA-SURFでトレーニングされたモデルは、より小さなデータセットでトレーニングされたモデルと比較して、より優れた汎化性能を示し、スケールとマルチモーダル性の利点を実証した。
• ROC曲線を主評価指標として用いることで、従来の指標（APCER）が実世界のリスクを低く見積もっていることが明らかになった。1.6%のAPCERでも、100回の攻撃に約2件の偽受容が生じる可能性がある。
• モダリティ固有の再重み付けを施したマルチスケール統合機構は、識別性の高い特徴を効果的に強化し、ノイズを抑制することで、より高いロバストネスを実現した。
• 1,000名の被験者と3モダリティを含む本データセットは、スケールと多様性の観点から、公開済みの顔偽造検出ベンチマークの中で最大規模である。