[論文レビュー] CASIA-SURF: A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing.

Shifeng Zhang, Xiaobo Wang+7 more|arXiv (Cornell University)|Dec 2, 2018

Biometric Identification and Security被引用数 10

ひとこと要約

本論文では、1,000名の被験者、21,000本の動画、3つのモダリティ（RGB、Depth、IR）を備えた、公開利用可能な顔偽造検出データセットであるCASIA-SURFを紹介する。加えて、標準化されたベンチマーク、評価プロトコル、および学習／検証／テスト分割を提供する。本研究では、有用でない特徴を抑制し、有用な特徴を再重み付けするマルチモーダル統合手法を提案し、新ベンチマーク上で優れた性能を達成した。

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate future face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing both in terms of subjects and visual modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). Associated with this dataset, we also provide concrete measurement set, evaluation protocol and training/validation/testing subsets, developing a new benchmark for face anti-spoofing. Moreover, we present a new multi-modal fusion method as a strong baseline, which performs feature re-weighting to select the more informative channel features while suppressing less useful ones for each modal. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. Dataset is available at https://sites.google.com/qq.com/chalearnfacespoofingattackdete

研究の動機と目的

• 既存の顔偽装検出ベンチマークにおけるスケールとモダリティの多様性の不足を是正し、分野の進展を妨げる要因を解消すること。
• RGB、Depth、IRの3モダリティで構成され、1,000名の被験者と21,000本の動画を含む大規模かつマルチモーダルなデータセットを提供すること。
• 学習、検証、テストのサブセットを明確に定義した標準化されたベンチマークを確立し、一貫性のある評価を可能にすること。
• 異なるモダリティ間で情報量の多い特徴を動的に再重み付けする、強力なマルチモーダル統合ベースライン手法を開発すること。
• 大規模かつマルチモーダルな顔偽装検出における汎化性とスケーラビリティの研究を可能にすること。

提案手法

• データセットCASIA-SURFは、1,000名の被験者を対象とし、RGB、Depth、赤外（IR）の3つの視覚的モダリティで、制御された条件下で複数本の動画を収集して構築された。
• 再現性と公正な比較を確保するため、固定された学習・検証・テスト分割を含む標準化された評価プロトコルを定義した。
• 各チャネルごとに特徴の再重み付けを実行し、情報量の多い特徴を強調するとともに、あまり有用でない特徴を抑制する、新規のマルチモーダル統合手法を提案した。
• 特徴の重要度を動的に調整するため、学習可能なアテンションメカニズムや類似の再重み付け戦略を用いた。
• 大規模かつマルチモーダルな偽装検出タスクにおけるディープラーニングモデルの学習と評価を支援するベンチマークを提供した。
• データセットは https://sites.google.com/qq.com/chalearnfacespoofingattackdete にて公開され、コミュニティ全体の研究を促進することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 顔偽装検出データセットにおける被験者数と動画の多様性が増加するにつれて、モデルの性能はどのように変化するか？
• RQ2 RGB、Depth、IRの複数の視覚的モダリティを組み込むことで、スプーフ検出の正確性にどのような影響を与えるか？
• RQ3 単純な連結や平均化と比較して、学習可能な特徴再重み付け機構はマルチモーダル統合性能を向上させることができるか？
• RQ4 CASIA-SURFで学習されたモデルは、未観測の被験者やスプーフイング攻撃に対してどれほど汎化可能か？
• RQ5 標準化された評価プロトコル下で、強力なマルチモーダル統合ベースライン手法の性能はどの程度か？

主な発見

• CASIA-SURFは、RGB、Depth、IRの3モダリティで構成され、1,000名の被験者と21,000本の動画を有する、公開利用可能な顔偽装検出データセットとして最大規模である。
• 特徴の再重み付けを施した提案されたマルチモーダル統合手法は、情報量の多い特徴を的確に強調し、あまり有用でない特徴を抑制することで、優れた性能を達成した。
• ベンチマークが標準化された学習・検証・テスト分割を提供することで、異なるモデル間での一貫性があり、再現可能な評価が可能になった。
• 広範な実験により、データセットの汎化能力と大規模かつマルチモーダルな偽装検出研究に適した特性が確認された。
• データセットとベンチマークは公開されており、顔偽装検出分野の研究進展を加速することを目的としている。