[論文レビュー] CelebA-Spoof: Large-Scale Face Anti-Spoofing Dataset with Rich Annotations

Yuanhan Zhang, Zhenfei Yin+5 more|arXiv (Cornell University)|Jul 24, 2020

Biometric Identification and Security参考文献 36被引用数 24

ひとこと要約

本稿では、10,177人の被験者からなる625,537枚の画像を含み、スプーフタイプ、照明、環境、および40の顔面属性を含む43の属性にわたり豊富なアノテーションを持つ大規模な顔フェイク検出データセット、CelebA-Spoofを紹介する。統一されたマルチタスクフレームワーク（AENet）を用いて、補助的セマンティックアノテーションがモデルの性能と一般化能力を顕著に向上させることを実証し、微調整なしでCASIA-MFSDで最先端の結果を達成した。

ABSTRACT

As facial interaction systems are prevalently deployed, security and reliability of these systems become a critical issue, with substantial research efforts devoted. Among them, face anti-spoofing emerges as an important area, whose objective is to identify whether a presented face is live or spoof. Though promising progress has been achieved, existing works still have difficulty in handling complex spoof attacks and generalizing to real-world scenarios. The main reason is that current face anti-spoofing datasets are limited in both quantity and diversity. To overcome these obstacles, we contribute a large-scale face anti-spoofing dataset, CelebA-Spoof, with the following appealing properties: 1) Quantity: CelebA-Spoof comprises of 625,537 pictures of 10,177 subjects, significantly larger than the existing datasets. 2) Diversity: The spoof images are captured from 8 scenes (2 environments * 4 illumination conditions) with more than 10 sensors. 3) Annotation Richness: CelebA-Spoof contains 10 spoof type annotations, as well as the 40 attribute annotations inherited from the original CelebA dataset. Equipped with CelebA-Spoof, we carefully benchmark existing methods in a unified multi-task framework, Auxiliary Information Embedding Network (AENet), and reveal several valuable observations.

研究の動機と目的

• 既存の顔フェイク検出データセットに見られるスケール、多様性、豊富なアノテーションの欠如という限界を是正すること。
• フェイク検出モデルの強固な訓練と評価を支援する、大規模で多様性に富み、密度の高いアノテーションが施されたデータセットの開発。
• フェイク攻撃の多様性にわたるモデルの一般化能力と性能に与える、補助的セマンティックおよび幾何的情報の影響の調査。
• 顔フェイク検出分野におけるクロスデータセット評価とモデル一般化のための標準化されたベンチマークの確立。
• 豊富な属性監視が、二値または中間レベルの監視を上回るモデルのロバストネスと性能向上をもたらすことを実証すること。

提案手法

• 著者らは、10種以上のセンサーを用いて、8セッション（2環境×4照明条件）で10,177名の被験者から625,537枚の画像を収集することでCelebA-Spoofを構築した。
• すべてのライブ画像はCelebAデータセットから取得され、フェイク画像は熟練したアノテータがスプーフタイプ、照明、環境について収集およびアノテートした。
• 本データセットには43の属性が含まれる：CelebAからの40の顔面属性と、3つのフェイク検出固有の属性（スプーフタイプ、照明、環境）。
• 顔の属性、スプーフタイプ、照明、環境、および幾何的表現（深度マップと反射マップ）からの補助監視を統合した、統一されたマルチタスク学習フレームワーク、補助情報埋め込みネットワーク（AENet）を提案した。
• AENetは、顔属性、スプーフタイプ、照明、環境、および幾何的表現（深度と反射マップ）からの補助監視を統合して活用する。
• 3つの評価プロトコルを確立した：プロトコル1はスプーフタイプの一般化を、プロトコル2はセンサー変動を、CASIA-MFSDにおけるクロスデータセットベンチマークをそれぞれ対象とした。

実験結果

リサーチクエスチョン

• RQ1 顔属性、スプーフタイプ、照明、環境などの豊富なセマンティックアノテーションは、顔フェイク検出モデルの性能と一般化能力にどのように影響するか？
• RQ2 深度マップと反射マップを含む幾何的特徴と、セマンティック特徴の間で、多様なフェイク攻撃を検出する能力に占める相対的寄与度は何か？
• RQ3 CelebA-Spoofで学習することで、未観測のフェイク攻撃シナリオやCASIA-MFSDのような実世界のデータセットへの一般化能力がどの程度向上するか？
• RQ4 補助的セマンティック監視は、従来の二値または中間レベルの幾何的監視を上回るロバストネスと精度を達成できるか？
• RQ5 クロスドメイン設定下で、異なるセンサー品質や環境的条件下でのモデル性能はどのように変化するか？

主な発見

• AENetによるセマンティック補助タスクを用いてCelebA-Spoofで学習したモデルは、微調整なしでCASIA-MFSDで最先端の性能を達成し、HTERが11.9%にまで低下した。
• CelebA-Spoofで微調整したベースラインのResNet-18モデルは、CASIA-MFSDでHTERが14.3%にまで低下し、FAS-TD-SF（HTER 39.4%）などの先行SOTA手法を上回った。
• セマンティックおよび幾何的補助タスクを併用した（AENet C,S,G）と、FPR=0.5%におけるEERが73.6%に低下し、CelebA-Spoofプロトコル1における再現率が95.0%に向上した。
• セマンティック情報（顔属性とスプーフタイプ）は幾何的特徴よりも強い一般化能力を示しており、CASIA-MFSDにおけるHTERはAENet C,Sで12.1%、AENet C,Gで14.1%であった。
• 完全な補助監視（AENet C,S,G）を備えたモデルは、FPR=0.5%条件下でCelebA-Spoofで95.0%の再現率と91.4%のAUCを達成し、高い検出精度を示した。
• クロスセンサーベンチマーク（プロトコル2）では、CelebA-Spoofで学習したモデルが低品質・中品質・高品質センサーのすべてにわたり良好に一般化しており、EERは5%未満、FPR=0.5%は2.5%未満に抑えられた。