[論文レビュー] Structure Destruction and Content Combination for Face Anti-Spoofing

Ke-Yue Zhang, Taiping Yao+5 more|arXiv (Cornell University)|Jul 22, 2021

Biometric Identification and Security参考文献 28被引用数 4

ひとこと要約

本稿では、顔のスプーフォース防止のための新しい破壊・結合ネットワーク（DCN）を提案する。顔の構造を破壊し、異なるサブドメインからのコンテンツを組み合わせることで、頑健性を向上させる。構造破壊モジュールとコンテンツ結合モジュールに加え、局所的関係モデリングを用いることで、Oulu-NPUでACER 0.62%を達成し、最先端の性能を発揮。補助的監視を用いず、一般化性能と特徴の識別能に優れる。

ABSTRACT

In pursuit of consolidating the face verification systems, prior face anti-spoofing studies excavate the hidden cues in original images to discriminate real persons and diverse attack types with the assistance of auxiliary supervision. However, limited by the following two inherent disturbances in their training process: 1) Complete facial structure in a single image. 2) Implicit subdomains in the whole dataset, these methods are prone to stick on memorization of the entire training dataset and show sensitivity to nonhomologous domain distribution. In this paper, we propose Structure Destruction Module and Content Combination Module to address these two imitations separately. The former mechanism destroys images into patches to construct a non-structural input, while the latter mechanism recombines patches from different subdomains or classes into a mixup construct. Based on this splitting-and-splicing operation, Local Relation Modeling Module is further proposed to model the second-order relationship between patches. We evaluate our method on extensive public datasets and promising experimental results to demonstrate the reliability of our method against state-of-the-art competitors.

研究の動機と目的

• 既存の顔のスプーフォース防止手法におけるグローバルな顔の構造への過剰な依存を是正すること。
• トレーニングデータセットに暗黙のうちに存在するサブドメインによって引き起こされるドメインバイアスを軽減すること。
• 多様な攻撃タイプや未知のドメインに対し、モデルの一般化性能を向上させること。
• 局所的パッチ間の関係をモデル化することで、特徴の識別能を向上させること。

提案手法

• 構造破壊モジュールは、入力画像をランダムに並べ替えられたパッチに分割することで、グローバルな顔の構造への影響を排除する。
• コンテンツ結合モジュールは、異なるクラスやサブドメインからのパッチを1枚の画像に混合させることで、ドメイン不変学習を促進する。
• 局所的関係モデリングモジュールは、コサイン類似度を用いてパッチ間の2次的関係をモデル化し、同じクラスの特徴の一貫性を向上させる。
• フレームワークは、局所的詳細抽出とパッチ間関係学習を同時に最適化することで、頑健性を向上させる。
• 簡素化されたバックボーンが使用されており、性能向上はモデルの複雑さではなく、アーキテクチャ設計に起因することを示している。
• 深度マップやr-ppg信号などの補助的監視を避けており、データ再結合と自己教師学習に依存する。

実験結果

リサーチクエスチョン

• RQ1 入力画像における顔の構造を破壊することで、顔のスプーフォース防止におけるグローバルな顔のパターンへの過学習を軽減できるか？
• RQ2 異なるサブドメインやクラスからのパッチを組み合わせることで、ドメイン間でのモデル一般化性能が向上するか？
• RQ3 画像パッチ間の2次的関係をモデル化することで、スプーフォース防止における特徴の識別能が向上するか？
• RQ4 本手法は、クロスデータセット評価において最先端の手法と比較してどのように差をつけるか？
• RQ5 本フレームワークでは、補助的監視の欠如が性能にどの程度影響を及えるか？

主な発見

• 提案手法は、Oulu-NPUプロトコル1でACER 0.62%を達成し、すべての先行手法を上回った。
• SiWデータセットでは、プロトコル1および2で最高の性能を示し、プロトコル3でも同等の結果を達成した。
• アブレーションスタディにより、構造破壊、コンテンツ結合、局所的関係モデリングの3つのモジュールが、順次性能向上に寄与していることが確認された。
• 特徴可視化の結果、構造破壊モジュールが顔の縁や構造的キーポイントへの依存を低下させた。
• コンテンツ結合モジュールは、ドメインをまたいでライブとスプーフィングのサンプル間の特徴分離を顕著に向上させた。
• 局所的関係モデリングモジュールは、t-SNE可視化により特徴空間におけるクラス内コンパクト性の向上とクラス間分離性の強化が確認された。