[論文レビュー] Deep Learning for Face Anti-Spoofing: A Survey

Zitong Yu, Yunxiao Qin+4 more|arXiv (Cornell University)|Jun 28, 2021

Biometric Identification and Security参考文献 222被引用数 12

ひとこと要約

本サーベイは、ピクセル単位の監視、ドメイン一般化、マルチモodalセンシング、プライバシー保護型トレーニングを含む、深層学習に基づく顔偽造検出（FAS）手法の包括的レビューを提供する。二値分類を超えた進展、例えば疑似深度マップや生成的再構成の技術を強調し、耐障害性、データの不均衡、プライバシー保護型適応に関する未解決の課題を特定する。

ABSTRACT

Face anti-spoofing (FAS) has lately attracted increasing attention due to its vital role in securing face recognition systems from presentation attacks (PAs). As more and more realistic PAs with novel types spring up, traditional FAS methods based on handcrafted features become unreliable due to their limited representation capacity. With the emergence of large-scale academic datasets in the recent decade, deep learning based FAS achieves remarkable performance and dominates this area. However, existing reviews in this field mainly focus on the handcrafted features, which are outdated and uninspiring for the progress of FAS community. In this paper, to stimulate future research, we present the first comprehensive review of recent advances in deep learning based FAS. It covers several novel and insightful components: 1) besides supervision with binary label (e.g., '0' for bonafide vs. '1' for PAs), we also investigate recent methods with pixel-wise supervision (e.g., pseudo depth map); 2) in addition to traditional intra-dataset evaluation, we collect and analyze the latest methods specially designed for domain generalization and open-set FAS; and 3) besides commercial RGB camera, we summarize the deep learning applications under multi-modal (e.g., depth and infrared) or specialized (e.g., light field and flash) sensors. We conclude this survey by emphasizing current open issues and highlighting potential prospects.

研究の動機と目的

• 古くなったハンドクラフト特徴ベースのFAS手法の限界を是正するため、最近の深層学習の進展をレビューすること。
• 二値分類を超えた新しい監視パラダイム、特にピクセル単位の監視（例：疑似深度マップ、反射マップ）を調査すること。
• ドメイン一般化およびオープンセットFAS向けに設計された手法を分析し、実世界での導入に伴う課題に対処すること。
• 深層学習の応用を、マルチモダリティ（例：深度、赤外線）および専用センサー（例：光場、フラッシュ）を含めて要約すること。
• FASにおけるデータの不均衡、プライバシー保護型トレーニング、ソースフリー適応に関する未解決の問題を強調すること。

提案手法

• 深層学習ベースのFAS手法を、二値分類、ピクセル単位の監視、生成的再構成のアプローチに体系的に分類すること。
• 疑似深度マップ、反射マップ、二値マスクなどの補助的監視信号の使用を分析し、ピクセルまたはパッチレベルでの特徴学習を支援すること。
• ラベルなしのターゲットデータを必要とせずに、さまざまなドメインにわたるモデルの耐障害性を向上させるドメイン一般化技術をレビューすること。
• 深度、赤外線、および専用センサー（例：光場、フラッシュ）を用いたマルチモダリティFASシステムを調査し、多様な条件下での偽装検出性能の向上を検証すること。
• フェデレーテッドラーニングやソースフリー適応戦略を検討し、モデルトレーニングおよび展開時のプライバシー保護を実現すること。
• 生成的モデルがリアルなデジタル攻撃を生成する影響を評価し、物理的およびデジタル攻撃を統合的に検出するフレームワークを提案すること。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の監視信号（例：疑似深度マップ、反射マップ）は、二値分類に比べて、内在的な偽装サインの検出をどのように向上させるか？
• RQ2 実世界のシナリオにおけるFASにおけるドメイン一般化を達成するにあたり、主な課題とその解決策は何か？
• RQ3 マルチモダリティおよび専用センサーは、深層学習ベースのFASシステムの耐障害性をどのように向上させるか？
• RQ4 フェデレーテッドラーニングやソースフリー適応といったプライバシー保護型トレーニング手法のトレードオフと制限要因は何か？
• RQ5 不均衡なデータ分布（例：Deepfake）を考慮した場合、物理的およびデジタルプレゼンテーション攻撃を効果的に検出できるFASモデルをどのように効果的に適応可能にするか？

主な発見

• 疑似深度マップや反射マップなどのピクセル単位の監視は、細分化され、文脈に配慮された監視信号を提供することで、モデルの一般化性能を顕著に向上させる。
• 特にフェデレーテッドラーニングにおけるドメイン分離技術を用いたドメイン一般化手法は、多様なデータドメインにわたるモデルの耐障害性を強化する。
• マルチモダリティセンサー（例：深度、赤外線）は、RGB単体のシステムに比べて、特に照明状況や偽装状況が厳しい条件下でも一貫して優れた偽装検出性能を示す。
• フェデレーテッドラーニングにより、顔データの生データを共有せずに複数のデータセンター間でプライバシー保護型のモデルトレーニングが可能であるが、モデルレベルのプライバシーは依然として課題である。
• 自己学習を用いたソースフリー適応では、平均して1.9%のHTER低下にとどまり、より強固な適応戦略の開発が求められる。
• 物理的およびデジタル攻撃間のデータ分布の不均衡（例：Deepfake）は、効果的なマルチタスク学習を妨げるため、慎重なデータキュレーションと損失重みの調整が不可欠である。