[論文レビュー] On Disentangling Spoof Trace for Generic Face Anti-Spoofing

Yaojie Liu, Joel Stehouwer+1 more|arXiv (Cornell University)|Jul 17, 2020

Biometric Identification and Security参考文献 49被引用数 12

ひとこと要約

本論文は、一般的な偽造検出のため、顔画像から色のずれ、モアレパターン、鏡面反射などの偽装痕跡を明示的に抽出・分離する新しい対抗的学習フレームワーク、Spoof Trace Disentanglement Network (STDN) を提案する。これらの痕跡を階層的マルチスケールコンポーネントに分離し、それらを用いて生きた顔の再構築と現実的な偽装サンプルの合成を行うことで、Oulu-NPU Protocol 1 で ACER 1.1% を達成し、既存手法を上回る最先端の性能を発揮した。

ABSTRACT

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. This work designs a novel adversarial learning framework to disentangle the spoof traces from input faces as a hierarchical combination of patterns at multiple scales. With the disentangled spoof traces, we unveil the live counterpart of the original spoof face, and further synthesize realistic new spoof faces after a proper geometric correction. Our method demonstrates superior spoof detection performance on both seen and unseen spoof scenarios while providing visually convincing estimation of spoof traces. Code is available at https://github.com/yaojieliu/ECCV20-STDN.

研究の動機と目的

• 既存の顔の偽装検出モデルにおける解釈可能性と一般化の欠如を是正するため、根本的な偽装痕跡を明示的に特定すること。
• 多様な偽装タイプと偽装痕跡の真値が存在しないという課題を、分離表現学習フレームワークにより克服すること。
• 分離された痕跡を用いて、現実的な偽装サンプルの合成を可能にし、データ拡張とモデルの訓練強化を実現すること。
• 生きた顔と偽装顔を区別する実際の偽装パターンを推定・可視化することで、モデル意思決定の視覚的説明を提供すること。

提案手法

• 生成器が偽装痕跡を空間パターン (s)、背景 (b)、色のずれ (C)、テクスチャ (T) の4つの階層的コンポーネントに分離する GAN アーキテクチャを設計。
• 高精細な生顔再構築と、分離された痕跡からの現実的な偽装顔の合成を保証するため、マルチスケールディスクライバを採用。
• 合成中にソース顔からターゲット顔へ偽装痕跡を転送する際の幾何的不一致を是正するため、3次元ワープレイヤーを導入。
• 3段階の訓練戦略を採用：1. 生成器を対抗的損失で訓練；2. 感覚的および再構築損失で分離コンポーネントを精緻化；3. 分離された痕跡を監視信号として用いた合成偽装サンプルで生成器を微調整。
• 分離された偽装痕跡を仮の真値として活用し、新たな偽装サンプルの合成を支援することで、データの多様性とモデルの頑健性を向上。
• 再構築された生顔と合成された偽装画像の忠実度を向上させるために、ピクセルレベルの再構築損失 (L_P) を適用。

実験結果

リサーチクエスチョン

• RQ1 教師なし条件下で、入力顔からモアレパターン、色のずれ、人工的な化粧などの多様な偽装痕跡を効果的に分離できるか？
• RQ2 偽装痕跡の分離が、学習分布外の未観測な偽装タイプへの一般化性能を向上させるか？
• RQ3 分離された偽装痕跡を用いて、元の生顔を再構築し、現実的な新しい偽装サンプルを合成できるか？
• RQ4 提案された3次元ワープレイヤーは、顔間での偽装痕跡転送における幾何的整合性をどのように向上させるか？
• RQ5 分離された偽装痕跡は、どの程度モデルの解釈可能性を向上させ、偽装検出意思決定の視覚的根拠を提供するか？

主な発見

• 提案された STDN は、Oulu-NPU Protocol 1 で ACER 1.1% を達成し、先行手法を上回り、見慣れない偽装タイプに対しても最先端の一般化性能を示した。
• アブレーションスタディにより、分離コンポーネント (s, b, C, T) と 3D ワープレイヤーを備えた完全な STDN が、ベースラインの ACER 2.6% から 1.1% まで改善され、特に高品質な合成偽装サンプルの利用による利益が最大であった。
• 分離された偽装痕跡は視覚的に説得力があり、主な偽装アーティファクト（再再生攻撃におけるモアレパターン、印刷攻撃における色のずれ、人工的化粧の特徴など）を正確に局所化していた。
• 3D ワープレイヤーは、偽装合成中の幾何的不一致を顕著に低減し、アイデンティティの漏洩を伴わず、新たなアイデンティティへ偽装痕跡を正確に転送可能であった。
• モデルは偽装入力から生顔を成功裏に再構築できており、分離された痕跡が偽装と生の提示の本質的差を捉えていることを示した。
• 分離された偽装痕跡は十分な識別的情報を含んでおり、推定された痕跡のみを用いた分類で、3クラス分類で 86.3%、5クラス分類で 80.6% の精度を達成した。これは、偽装媒体認識にその有効性が示されたことを裏付けている。