[論文レビュー] Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues

Zitong Yu, Rizhao Cai+4 more|arXiv (Cornell University)|Aug 10, 2022

Biometric Identification and Security被引用数 7

ひとこと要約

本論文は、視覚的外観と生理的rPPG特徴を用いた、顔のスプーフィングと偽造の両方を同時に検出するための最初のベンチマークを紹介する。視覚的外観とrPPG特徴を統合するための重み付きバッチ正規化およびレイヤー正規化を備えた二本の分岐を持つrPPGネットワークを提案し、両タスクの共同学習が、特に3Dマスクやディープフェイクなどの困難な攻撃に対して一般化性能を顕著に向上させることを示している。

ABSTRACT

Face anti-spoofing (FAS) and face forgery detection play vital roles in securing face biometric systems from presentation attacks (PAs) and vicious digital manipulation (e.g., deepfakes). Despite promising performance upon large-scale data and powerful deep models, the generalization problem of existing approaches is still an open issue. Most of recent approaches focus on 1) unimodal visual appearance or physiological (i.e., remote photoplethysmography (rPPG)) cues; and 2) separated feature representation for FAS or face forgery detection. On one side, unimodal appearance and rPPG features are respectively vulnerable to high-fidelity face 3D mask and video replay attacks, inspiring us to design reliable multi-modal fusion mechanisms for generalized face attack detection. On the other side, there are rich common features across FAS and face forgery detection tasks (e.g., periodic rPPG rhythms and vanilla appearance for bonafides), providing solid evidence to design a joint FAS and face forgery detection system in a multi-task learning fashion. In this paper, we establish the first joint face spoofing and forgery detection benchmark using both visual appearance and physiological rPPG cues. To enhance the rPPG periodicity discrimination, we design a two-branch physiological network using both facial spatio-temporal rPPG signal map and its continuous wavelet transformed counterpart as inputs. To mitigate the modality bias and improve the fusion efficacy, we conduct a weighted batch and layer normalization for both appearance and rPPG features before multi-modal fusion. We find that the generalization capacities of both unimodal (appearance or rPPG) and multi-modal (appearance+rPPG) models can be obviously improved via joint training on these two tasks. We hope this new benchmark will facilitate the future research of both FAS and deepfake detection communities.

研究の動機と目的

• 外観またはrPPGにのみ依存する単モーダルなアプローチによる顔のフェイク防止（FAS）とディープフェイク検出の一般化ギャップを是正する。
• 周期的なrPPGとクリアな外観といった共有特徴を活用するため、FASと顔の偽造検出の共同学習の可能性を検討する。
• モーダルティーのバイアスを軽減し、特徴の識別性を高める、強力なマルチモーダル統合戦略を開発する。
• 高精細な3Dマスクやディープフェイクを含む多様な攻撃タイプを含む、標準化された評価を可能にする新しいベンチマークを確立する。
• マルチタスク学習、統合戦略、サンプリング手法が、未観測の攻撃シナリオにおけるモデルの一般化に与える影響を調査する。

提案手法

• 時間的・空間的変動を持つrPPG信号マップと、その連続ウェーブレット変換版を入力とする二本の分岐を持つ生理的特徴ネットワークを提案し、rPPGの周期性をより明確に識別できるようにする。
• 外観とrPPG特徴のバランスをとるために、マルチモーダル統合の前段階で重み付きバッチ正規化およびレイヤー正規化を導入し、モーダルティーのバイアスを低減する。
• ResNetとViTを共有バックボーンとして用い、FAS（本物／スプーフィング）と顔の偽造検出（本物／ディープフェイク）の両タスクを共同で学習する。
• 早期統合、後期統合、特徴レベル統合の複数の統合戦略を評価し、性能向上を図るために特徴レベル統合に重点を置く。
• ミニバッチのランダムサンプリング、ローテートサンプリング、タスク単位でのサンプリング、同時サンプリングの各戦略を検証し、共同学習における安定性と一般化性能を評価する。
• t-SNEを用いて特徴分布を可視化し、共同学習によって特徴クラスタの凝集性と分離性が向上していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 FASと顔の偽造検出の共同学習は、分離学習と比較して、多様な攻撃タイプに対して一般化性能を向上させることができるか？
• RQ2 視覚的外観とrPPG特徴のマルチモーダル統合は、高精細なスプーフィング攻撃下でも検出性能にどのように影響を与えるか？
• RQ3 マルチタスク学習フレームワークにおいて、外観とrPPG特徴を最適に統合する戦略は何か？
• RQ4 共同学習の過程で異なるサンプリング戦略が、モデルの安定性とクロスドメイン一般化に与える影響は何か？
• RQ5 関連する顔認識タスク（例えば性別、人種、表情）から得られる共有表現は、共同顔攻撃検出にどの程度寄与するか？

主な発見

• FASと顔の偽造検出の両タスクで共同学習を行うことで、特に高精細な3Dマスクやディープフェイクといった未観測攻撃に対して一般化性能が顕著に向上した。
• 共有バックボーン（ResNet）と共有された最初の8ブロックのViTを用いた共同学習が、最良の性能を達成した。各タスクに個別のヘッドを設けた。
• 両タスクからミニバッチをランダムにサンプリングする戦略が、相互に矛盾する知識伝達による不安定な予測を引き起こす交替的またはタスク単位の戦略を上回った。
• 重み付きバッチ正規化およびレイヤー正規化戦略により、外観とrPPG特徴の両方におけるモーダルティーのバイアスが効果的に軽減され、統合効果が向上した。
• t-SNE可視化により、共同学習がより凝縮され、良好に分離された特徴クラスタを形成していることが確認され、識別性と一般化性能の向上が示された。
• 両タスクの本物サンプルのみを用いた共同学習でも、クロステスト性能が向上した。これは、本物データがより入手しやすい実世界の設定において実用的である可能性を示唆している。