[論文レビュー] Hyperbolic Face Anti-Spoofing

Shuangpeng Han, Rizhao Cai+4 more|arXiv (Cornell University)|Aug 17, 2023

Biometric Identification and SecurityComputer Science被引用数 3

ひとこと要約

本稿では、Poincaré球空間への特徴の投影を通じてスプーフィング攻撃の階層的性質を活用することで、未観測の攻撃タイプへの一般化を向上させるハイパーボリックな顔フェイク検出フレームワークを提案する。特徴クリッピングの新手法による訓練の安定化と、ユークリッド分解とハイパーボリック融合を組み合わせたマルチモーダル統合戦略を導入し、7つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Learning generalized face anti-spoofing (FAS) models against presentation attacks is essential for the security of face recognition systems. Previous FAS methods usually encourage models to extract discriminative features, of which the distances within the same class (bonafide or attack) are pushed close while those between bonafide and attack are pulled away. However, these methods are designed based on Euclidean distance, which lacks generalization ability for unseen attack detection due to poor hierarchy embedding ability. According to the evidence that different spoofing attacks are intrinsically hierarchical, we propose to learn richer hierarchical and discriminative spoofing cues in hyperbolic space. Specifically, for unimodal FAS learning, the feature embeddings are projected into the Poincaré ball, and then the hyperbolic binary logistic regression layer is cascaded for classification. To further improve generalization, we conduct hyperbolic contrastive learning for the bonafide only while relaxing the constraints on diverse spoofing attacks. To alleviate the vanishing gradient problem in hyperbolic space, a new feature clipping method is proposed to enhance the training stability of hyperbolic models. Besides, we further design a multimodal FAS framework with Euclidean multimodal feature decomposition and hyperbolic multimodal feature fusion & classification. Extensive experiments on three benchmark datasets (i.e., WMCA, PADISI-Face, and SiW-M) with diverse attack types demonstrate that the proposed method can bring significant improvement compared to the Euclidean baselines on unseen attack detection. In addition, the proposed framework is also generalized well on four benchmark datasets (i.e., MSU-MFSD, IDIAP REPLAY-ATTACK, CASIA-FASD, and OULU-NPU) with a limited number of attack types.

研究の動機と目的

• 多様で進化を続ける攻撃形態を想定した、未観測のフェイクスプーフィング攻撃タイプへの一般化を困難とする顔フェイク検出モデルの挑戦に取り組む。
• スプーフィング攻撃が形状・素材・カバレッジの観点で本質的に階層的構造を持つにもかかわらず、ユークリッド空間の限界を克服し、その関係性をモデル化する。
• スプーフィングデータに内在する階層的トポロジーを活用することで、クロスデータセットおよびゼロショット設定におけるモデルのロバスト性と一般化性能を向上させる。
• 特にハイパーボリック空間における勾配消失問題に起因する、ハイパーボリックニューラルネットワークの安定的で効果的な訓練フレームワークを構築する。
• ユークリッド特徴分解とハイパーボリック統合・分類を組み合わせたマルチモーダルFASフレームワークを設計し、性能を向上させる。

提案手法

• フェイクスプーフィング攻撃の階層的構造を活用するため、ユニモーダルな顔特徴をハイパーボリックニューラルネットワークを用いてPoincaré球空間に投影する。
• ハイパーボリック特徴投影後に、分類用にハイパーボリック二値論理回帰層を導入する。
• 未観測の攻撃タイプへの一般化を向上させるために、本物のサンプルを密にクラスタリングするが、多様な攻撃タイプに対しては制約を緩和するハイパーボリック対照学習損失を提案する。
• ハイパーボリック空間における勾配消失を軽減し、訓練の安定性を向上させるために、新規の特徴クリッピング手法を開発する。
• 複雑なハイパーボリック連結を用いて、ユークリッドベースの特徴分解とハイパーボリックベースの特徴統合・分類を組み合わせたマルチモーダルFASフレームワークを設計する。
• 異なる側面をカバーするように、判別的損失（$\mathcal{L}^{Dis}$）、ハイパーボリック二値交差エントロピー損失（$\mathcal{L}^{Hyp-BCE}_{decom}$）、ハイパーボリック対照損失（$\mathcal{L}^{BF}_{fus}$）の複数の損失関数を統合し、モデル学習を監視する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間と比較して、ハイパーボリック空間はスプーフィング攻撃の階層的構造をより効果的にモデル化できるか？
• RQ2 ハイパーボリック対照学習は、顔フェイク検出における未観測攻撃タイプへの一般化を向上させるか？
• RQ3 ユークリッド特徴分解とハイパーボリック統合を組み合わせたハイブリッドフレームワークは、完全にユークリッド的または完全にハイパーボリックなアプローチよりも優れた性能を達成できるか？
• RQ4 提案された特徴クリッピング手法は、ハイパーボリックニューラルネットワークの訓練を安定化させるのにどの程度効果的か？
• RQ5 ハイパーボリックフレームワークは、スプーフィングの兆候に対する解釈可能性と注目領域の局在化をどの程度向上させるか？

主な発見

• 提案されたハイパーボリックユニモーダルFASフレームワークは、WMCA、PADISI-Face、SiW-Mで最先端の性能を達成し、ユークリッドベースラインと比較して未観測攻撃検出性能が顕著に向上した。
• MSU-MFSD、IDIAP REPLAY-ATTACK、CASIA-FASD、OULU-NPUの各データセットにおいて、攻撃タイプが限定的であってもモデルの一般化性能が高く、顕著なゼロショット一般化能力を示した。
• アブレーションスタディの結果、追加の3つの損失関数（$\mathcal{L}^{Dis}$、$\mathcal{L}^{BF}_{decom}$、$\mathcal{L}^{BF}_{fus}$）すべてがモデルの一般化に正の寄与を示した。特にRGB+Depth設定では$\mathcal{L}^{BF}_{decom}$と$\mathcal{L}^{BF}_{fus}$、RGB+IR設定では$\mathcal{L}^{Dis}$が最も効果的であった。
• Grad-CAMの可視化結果から、ハイパーボリックモデルは不自然な眼領域などの現実的なスプーフィングの兆候に注目している一方、ユークリッドベースラインはノイズや関係のない背景領域に注目していることがわかった。
• ユークリッド空間でのマルチモーダル特徴分解に続くハイパーボリック統合と分類が、最も優れた性能を達成した。これは、ハイパーボリック統合がハイパーボリック特徴分解よりも効果的であることを示している。
• 提案された特徴クリッピング手法は、曲率に起因する勾配消失問題が生じるにもかかわらず、ハイパーボリックネットワークの訓練安定性を顕著に向上させ、有効な最適化を可能にした。