[論文レビュー] Physics-Guided Spoof Trace Disentanglement for Generic Face Anti-Spoofing

Yaojie Liu, Xiaoming Liu|arXiv (Cornell University)|Dec 9, 2020

Biometric Identification and Security参考文献 62被引用数 9

ひとこと要約

本稿では、物理的制約を用いた分離フレームワークであるPhySTDを提案する。この手法は、モアレパターン、色収差、人工テクスチャなどのスプーフ痕跡を、追加的およびインpaintingプロセスとしてモデル化することで、スプーフ顔から分離する。本手法は周波数帯域に応じた痕跡の分離を可能とし、高精細なライブ顔再構築とリアルなスプーフ合成を実現する。また、既知の攻撃、未知の攻撃、オープンセットのあらゆる反スプーフィングベンチマークで最先端の性能を達成し、解釈可能で視覚的に根拠のある意思決定を可能にする。

ABSTRACT

Prior studies show that the key to face anti-spoofing lies in the subtle image pattern, termed "spoof trace", e.g., color distortion, 3D mask edge, Moire pattern, and many others. Designing a generic face anti-spoofing model to estimate those spoof traces can improve not only the generalization of the spoof detection, but also the interpretability of the model's decision. Yet, this is a challenging task due to the diversity of spoof types and the lack of ground truth in spoof traces. In this work, we design a novel adversarial learning framework to disentangle spoof faces into the spoof traces and the live counterparts. Guided by physical properties, the spoof generation is represented as a combination of additive process and inpainting process. Additive process describes spoofing as spoof material introducing extra patterns (e.g., moire pattern), where the live counterpart can be recovered by removing those patterns. Inpainting process describes spoofing as spoof material fully covering certain regions, where the live counterpart of those regions has to be "guessed". We use 3 additive components and 1 inpainting component to represent traces at different frequency bands. The disentangled spoof traces can be utilized to synthesize realistic new spoof faces after proper geometric correction, and the synthesized spoof can be used for training and improve the generalization of spoof detection. Our approach demonstrates superior spoof detection performance on 3 testing scenarios: known attacks, unknown attacks, and open-set attacks. Meanwhile, it provides a visually-convincing estimation of the spoof traces. Source code and pre-trained models will be publicly available upon publication.

研究の動機と目的

• 多様なスプーフ攻撃、特に未確認の攻撃を含む状況下で、顔反スプーフィングモデルの一般化能力の欠如に対処すること。
• ライブ顔とスプーフ顔を区別するための正確な視覚的パターン（以下、「スプーフ痕跡」と呼ぶ）を特定することで、モデルの解釈性を向上させること。
• スプーフ痕跡の真値アノテーションが存在しない状況を克服するため、物理的事前知識を用いた弱教師付き分離フレームワークを開発すること。
• 幾何補正を施した上でスプーフ痕跡を新しいアイデンティティに転送することで、データ拡張に役立つリアルなスプーフ合成を可能とすること。

提案手法

• スプーフィングを、スプーフメディアの物理的性質に基づいた追加的プロセス（例：モアレパターン、色収差）とインpaintingプロセス（例：マスクや化粧による完全被覆）の組み合わせとしてモデル化する。
• 入力顔からスプーフ痕跡を分離するために、3つの周波数帯域特化型の追加成分（低・中・高周波）と1つのインpainting成分を用いる。
• 合成時に新しいライブ顔にスプーフ痕跡を転送する際の幾何的不一致を是正するため、3Dワープレイヤーを導入する。
• スプーフ痕跡を除去することでライブ顔を再構築するが、同時にアイデンティティを保持するよう、敵対的学習と分離損失を組み合わせたネットワークを採用する。
• 分離された成分を用いて、実際のライブ顔に痕跡を適用することで、新たなスプーフ顔を合成し、トレーニング用データの多様性を向上させる。
• スプーフ/ライブの二値ラベルのみを用い、スプーフ痕跡の真値アノテーションを一切必要としない弱教師付き学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、真値アノテーションが一切不要な状況下でも、モアレパターン、色収差、人工テクスチャなどの多様なスプーフ痕跡を分離可能か？
• RQ2 分離されたスプーフ痕跡を用いて、高精細かつ幾何的に正確なオリジナルのライブ顔を再構築可能か？
• RQ3 分離された痕跡を新しいアイデンティティに転送することで、データ拡張に適したリアルで多様なスプーフサンプルを合成可能か？
• RQ4 分離フレームワークは、既知の攻撃、未知の攻撃、オープンセットの反スプーフィング状況において、一般化性能を向上させるか？
• RQ5 モデルの意思決定が、特定のスプーフ痕跡に起因するかを視覚的に解釈可能か？

主な発見

• 提案されたPhySTDフレームワークは、既知の攻撃、未知の攻撃、オープンセットのあらゆる反スプーフィングベンチマークで最先端の性能を達成し、多様なスプーフ攻撃に対して優れた一般化能力を示した。
• 分離されたスプーフ痕跡により、高精細なライブ顔再構築が可能であり、t-SNE可視化により、追加的痕跡（B, C, T）がスプーフタイプおよび意味的コンテンツごとに明確にクラスタリングされていることが確認された。
• インpainting成分（P, IP）は意味的な空間的分布を示しており、部分的被覆、化粧、3Dマスク攻撃において高い強度を示しており、分離の物理的妥当性が裏付けられた。
• 再構築過程で痕跡成分を段階的に除去することで、顔像が徐々に洗練され、低周波痕跡が色調や露出の問題を是正し、高周波痕跡がグリッドやテクスチャアーチファクトを除去することが確認された。
• 3Dワープレイヤーは、スプーフ合成時の幾何的不整合を効果的に是正し、アーチファクトを生成せずに痕跡を新しいアイデンティティに正確に転送できた。
• 合成されたスプーフサンプルは視覚的に説得力があり、トレーニングデータの拡張に使用可能であり、反スプーフィングモデルのロバスト性と一般化性能を向上させた。