[論文レビュー] PatchNet: A Simple Face Anti-Spoofing Framework via Fine-Grained Patch Recognition

Chien-Yi Wang, Yu-Ding Lu+2 more|arXiv (Cornell University)|Mar 27, 2022

Biometric Identification and Security被引用数 10

ひとこと要約

PatchNetは、顔の偽物検出を細分化されたパッチタイプの認識問題に再定式化する新しいフレームワークを提案する。この手法は、局所的な画像パッチを用いて、撮影デバイスと提示素材の組み合わせを分類することで、顔の偽物検出を実現する。非対称マージンに基づく損失関数と自己教師型類似度損失を活用することで、内部データセット、クロスデータセット、ドメイン一般化のベンチマークで最先端の性能を達成し、局所的特徴の学習により未学習の偽物タイプの検出を強力に可能にする。

ABSTRACT

Face anti-spoofing (FAS) plays a critical role in securing face recognition systems from different presentation attacks. Previous works leverage auxiliary pixel-level supervision and domain generalization approaches to address unseen spoof types. However, the local characteristics of image captures, i.e., capturing devices and presenting materials, are ignored in existing works and we argue that such information is required for networks to discriminate between live and spoof images. In this work, we propose PatchNet which reformulates face anti-spoofing as a fine-grained patch-type recognition problem. To be specific, our framework recognizes the combination of capturing devices and presenting materials based on the patches cropped from non-distorted face images. This reformulation can largely improve the data variation and enforce the network to learn discriminative feature from local capture patterns. In addition, to further improve the generalization ability of the spoof feature, we propose the novel Asymmetric Margin-based Classification Loss and Self-supervised Similarity Loss to regularize the patch embedding space. Our experimental results verify our assumption and show that the model is capable of recognizing unseen spoof types robustly by only looking at local regions. Moreover, the fine-grained and patch-level reformulation of FAS outperforms the existing approaches on intra-dataset, cross-dataset, and domain generalization benchmarks. Furthermore, our PatchNet framework can enable practical applications like Few-Shot Reference-based FAS and facilitate future exploration of spoof-related intrinsic cues.

研究の動機と目的

• 既存の顔の偽物検出手法がデータセットバイアスに過剰適合し、未学習の偽物タイプで失敗するという限界を解消すること。
• 特に、撮影デバイスと提示素材の組み合わせという局所的なキャプチャ特性を、偽物検出の内在的手がかりとして活用すること。
• 全体画像分類ではなく、細分化されたパッチレベルの認識に注目することで、特徴の一般化を高める訓練フレームワークを開発すること。
• 学習された埋め込み空間を活用して、少数の参照に基づく偽物検出やパッチタイプ検索といった実用的応用を可能にすること。

提案手法

• 顔の偽物検出を、各パッチがその撮影デバイスと提示素材に基づいて分類される細分化されたパッチタイプ認識タスクに再定式化する。
• 元の顔画像から固定サイズの非歪みパッチを直接切り出すことで、識別的な局所的特徴を保持し、リサイズによる歪みを回避する。
• クラスの不均衡を是正し、識別性を向上させるために、生画像クラスの埋め込みに大きな角度マージンを適用する非対称マージンに基づくソフトマックス損失を導入する。
• 同一キャプチャ内での空間的変換（例：回転、位置シフト）に対して特徴の不変性を強制するため、自己教師型類似度損失を提案する。
• 深層ニューラルネットワークを訓練し、パッチを正規化されたハイパースフィア上に埋め込むことで、後続の応用にコサイン類似度ベースの比較を可能にする。
• 得られた正規化された埋め込み空間を、少数の参照に基づくFASやパッチタイプ検索といった応用に活用する。

Figure 1 : The face recognition model learns a face embedding space to discriminate between identities. Our fine-grained patch-type recognition model learns a patch embedding space to discriminate between patches with different capture characteristics.

実験結果

リサーチクエスチョン

• RQ1 細分化されたパッチタイプ認識は、二値分類（生/偽物）を超えて、顔の偽物検出における一般化性能を向上させるか？
• RQ2 撮影デバイスと提示素材の組み合わせをパッチタイプとしてモデル化することで、未学習の偽物タイプに対する耐性がどのように向上するか？
• RQ3 非対称マージン損失と自己教師型類似度損失は、パッチ埋め込み空間における特徴の識別性と不変性をどの程度向上させるか？
• RQ4 学習されたパッチ埋め込み空間は、少数の参照に基づく偽物検出といった実用的応用を可能にするか？
• RQ5 個々の撮影デバイスでテストした場合の性能はどのようになり、パッチレベルの分析はシステムの改善をどのように導くか？

主な発見

• PatchNetは、内部データセット、クロスデータセット、ドメイン一般化のベンチマークで最先端の性能を達成し、O&C&I to MプロトコルではAUC 98.46%、O&M&I to Cでは94.58%を達成した。
• 個々の撮影デバイスでは、M1で99.54% AUC、M2で98.63%、C3で98.13%を達成し、低品質デバイスでも強い耐性を示した。
• 10ショットの生画像参照特徴を用いることで、M1ではAUC 99.8%、C3では99.2%に向上し、少数ショットのシナリオにおいて高い実用性を示した。
• Oデータセットの生サンプルを用いたパッチタイプ検索は、MおよびCデータセットからの高類似度タイプを含む上位7件の一致を達成し、関連する生および偽物タイプを正常に同定した。
• テスト時に曖昧な生タイプ（例：C2_L、C1_L、I_L）を除外するとAUCは95.27%に向上し、それらを偽物クラスに再定義することで95.87%に上昇した。
• アブレーションスタディにより、非対称マージン損失と自己教師型類似度損失の両方が、すべてのベンチマークで顕著な性能向上に寄与することが確認された。

Figure 2 : Overview of our proposed PatchNet framework . We address the face anti-spoofing with a fine-grained patch-type recognition model. The patch-type classes are pre-defined by the combination of the capture device and the presenting material, and the patch inputs are extracted from the face c