[論文レビュー] A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing

Shifeng Zhang, Xiaobo Wang+7 more|arXiv (Cornell University)|Dec 2, 2018

Biometric Identification and Security参考文献 50被引用数 18

ひとこと要約

本稿では、1,000名の被験者、21,000本の動画、3つのモダリティ（RGB、深度、赤外線）を備えた、公開可能な最大規模のマルチモーダル顔偽造検出データセットであるCASIA-SURFを紹介する。これにより大規模な学習と評価が可能となる。また、モダリティに応じた特徴再重み付けを施す新しいマルチモーダル統合手法を提案し、実世界の性能をより的確に反映するためのROC曲線ベースの評価を提唱する。ベンチマークプロトコル上での優れた汎化性能と耐障害性を示している。

ABSTRACT

Face anti-spoofing is essential to prevent face recognition systems from a security breach. Much of the progresses have been made by the availability of face anti-spoofing benchmark datasets in recent years. However, existing face anti-spoofing benchmarks have limited number of subjects ($\le egmedspace170$) and modalities ($\leq egmedspace2$), which hinder the further development of the academic community. To facilitate face anti-spoofing research, we introduce a large-scale multi-modal dataset, namely CASIA-SURF, which is the largest publicly available dataset for face anti-spoofing in terms of both subjects and visual modalities. Specifically, it consists of $1,000$ subjects with $21,000$ videos and each sample has $3$ modalities (i.e., RGB, Depth and IR). We also provide a measurement set, evaluation protocol and training/validation/testing subsets, developing a new benchmark for face anti-spoofing. Moreover, we present a new multi-modal fusion method as baseline, which performs feature re-weighting to select the more informative channel features while suppressing the less useful ones for each modal. Extensive experiments have been conducted on the proposed dataset to verify its significance and generalization capability. The dataset is available at https://sites.google.com/qq.com/chalearnfacespoofingattackdete

研究の動機と目的

• 顔偽造検出分野における大規模かつマルチモーダルなデータセットの不足が、モデルの汎化性能と性能評価を制限しているという問題に対処する。
• 被験者数が170名以下で、モダリティ数も2つ以下の既存のベンチマークの限界を克服する。
• 特に低偽陽性率を重視する実世界の展開要件をより的確に反映するため、受信者動作特性（ROC）曲線を用いた標準化された評価プロトコルを策定する。
• RGB、深度、赤外線モダリティ間で情報を効果的に統合する、新たなマルチモーダル統合手法を提案する。この手法は、各モダリティに応じた特徴の再重み付けを実行する。
• CASIA-SURFで学習したモデルが、SiWおよびCASIA-MFSDのクロスデータセット評価においても汎化能力を示すことを実証する。

提案手法

• 1,000名の被験者、21,000本の動画、RGB、深度、赤外線（IR）の3つの視覚的モダリティを備えた大規模データセットであるCASIA-SURFを導入する。
• 各モダリティに特化した特徴再重み付けを実行するマルチモーダル統合ネットワークを設計し、有用なチャネル特徴を強調し、役立たずな特徴を抑制する。
• 学習・検証・テストの分割を含む標準化された評価プロトコルを定義し、クロスデータセットの汎化性を評価するための3つの異なるテストプロトコルを用意する。
• 受信者動作特性（ROC）曲線を主な評価指標として採用し、偽陽性率（FPR）が非常に低い状況（例：FPR = 10⁻⁴）における真正陽性率（TPR）に注目することで、実世界の適用性を反映する。
• Intel RealSenseカメラを用いてデータ収集を行い、RGBフレームと整合性の取れた深度および赤外線データを確保する。
• 印刷、カット、曲げ、スタンドオフ距離など、6種類のスプーフ攻撃を含め、多様な実世界の提示攻撃を模擬する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつマルチモーダルなデータセットは、顔偽造検出モデルの汎化性能と耐障害性を顕著に向上させ得るか？
• RQ2 モダリティに応じた再重み付けを施すマルチモーダル特徴統合手法は、単一モダリティや単純な早期統合手法と比較して、偽造検出性能をどのように向上させるか？
• RQ3 CASIA-SURFで学習したモデルは、SiW や CASIA-MFSD といったクロスデータセットベンチマークで、どの程度の性能向上を達成するか？
• RQ4 実世界の展開状況において、ACERなどの従来の指標よりもROC曲線がより意味のある評価指標であると言えるか？
• RQ5 印刷攻撃やリプレイ攻撃などの異なるスプーフ攻撃タイプは、各モダリティ間でモデル性能にどのような影響を与えるか？

主な発見

• CASIA-SURFで学習したFAS-TD-SFモデルは、CASIA-SURFベンチマーク上でのACERが0.80%にまで低下し、先行手法を大きく上回った。
• SiWデータセットにおいて、CASIA-SURFで微調整したモデルはプロトコル3でACERが0.17%にまで低下し、優れたゼロショット汎化性能を示した。
• CASIA-MFSDでテストしたところ、CASIA-SURFで学習したモデルはHTERが37.3%にまで低下し、Replay-Attackで学習したモデル（45.5%）や他のベースラインを上回った。
• 偽陽性率が10⁻⁴の状況下で、最良のモデルのTPRはわずか56.8%にとどまり、標準的な指標と実世界の要件との間には大きなギャップがあることが示された。
• ROC曲線分析から、ACERのような従来の指標は、超低偽陽性率における重要な性能を捉えられていないことが判明し、ROCベースの評価の必要性が裏付けられた。
• モダリティに応じた特徴再重み付けを施すマルチモーダル統合手法は、ノイズが多いか情報量の少ない特徴を効果的に抑制し、全モダリティにわたる全体的な検出精度を向上させた。