[論文レビュー] Domain Generalization via Shuffled Style Assembly for Face Anti-Spoofing

Zhuo Wang, Zezheng Wang+5 more|arXiv (Cornell University)|Mar 10, 2022

Biometric Identification and Security被引用数 13

ひとこと要約

本稿では、コンテンツとスタイル特徴を分離することで、ドメイン一般化可能な顔偽造検出のための新規なシャッフルドスタイルアセンブリネットワーク（SSAN）を提案する。敵対的学習によりドメイン不変なコンテンツ特徴を、対照的学習により生体関連のスタイル特徴を強調することで、ドメイン固有の特徴を抑圧する。本手法は、標準的および新たに提案された大規模ベンチマークにおいて最先端の性能を達成し、未学習ドメインに対しても強力な一般化能力を示している。

ABSTRACT

With diverse presentation attacks emerging continually, generalizable face anti-spoofing (FAS) has drawn growing attention. Most existing methods implement domain generalization (DG) on the complete representations. However, different image statistics may have unique properties for the FAS tasks. In this work, we separate the complete representation into content and style ones. A novel Shuffled Style Assembly Network (SSAN) is proposed to extract and reassemble different content and style features for a stylized feature space. Then, to obtain a generalized representation, a contrastive learning strategy is developed to emphasize liveness-related style information while suppress the domain-specific one. Finally, the representations of the correct assemblies are used to distinguish between living and spoofing during the inferring. On the other hand, despite the decent performance, there still exists a gap between academia and industry, due to the difference in data quantity and distribution. Thus, a new large-scale benchmark for FAS is built up to further evaluate the performance of algorithms in reality. Both qualitative and quantitative results on existing and proposed benchmarks demonstrate the effectiveness of our methods. The codes will be available at https://github.com/wangzhuo2019/SSAN.

研究の動機と目的

• 未学習の攻撃タイプやデータセットに対して性能が低下する顔偽装検出におけるドメイン一般化の課題に対処すること。
• 完全な表現に依存する従来手法の制限を克服し、グローバル（コンテンツ）とローカル（スタイル）画像統計の特徴的性質を活用すること。
• 学術的ベンチマークと実世界の産業的導入のギャップを、新規の大規模で現実的なFASベンチマークを通じて埋めること。
• 特徴レベルのスタイル変換と対照的学習を活用したエンドツーエンドで効率的な訓練フレームワークを構築すること。

提案手法

• 本手法は、コンテンツ特徴（グローバルな意味的特徴および物理的属性）とスタイル特徴（局所的なテクスチャおよび生体関連の手がかり）を別々に抽出する二本のストリームネットワークを採用する。
• コンテンツ特徴は敵対的学習により正則化され、異なるデータセット間でドメイン不変な表現を達成する。
• スタイル特徴は、生体関連のパターンを強調し、ドメイン固有のアーティファクトを抑圧する対照的学習戦略によって強化される。
• シャッフルドスタイルアセンブリ機構により、複数段階のスタックされた層を通じてコンテンツとスタイル特徴が再構成され、多様で頑健な特徴組み合わせが可能になる。
• 対照的学習中にストップ勾配操作を用いることで、訓練の安定性を向上させ、特徴の分離を促進する。
• スケーラビリティと効率性に配慮したエンドツーエンドの訓練パイプラインを設計し、大規模産業データセットに適したものとする。

実験結果

リサーチクエスチョン

• RQ1 コンテンツとスタイル特徴を分離することで、クロスドメイン設定下での顔偽装検出における一般化性能が向上するか？
• RQ2 特徴表現におけるドメイン固有のノイズを抑圧しつつ、生体関連のスタイル情報はどのように効果的に強調できるか？
• RQ3 画像レベルや二段階の増強と比較して、特徴レベルのスタイル変換とシャッフルドアセンブリは、モデルのロバストネスをどの程度向上させるか？
• RQ4 本手法は、実世界のデータ分布とスケールを反映する現実的で大規模なベンチマークにおいて、どの程度の性能を示すか？
• RQ5 各構成要素（敵対的学習、対照的学習、ストップ勾配など）が最終的な性能に果たす寄与度はいかほどか？

主な発見

• SSAN-MはO&C&IからMプロトコルで10.42%のHTERと94.76%のAUCを達成し、すべてのアブレーション変種を上回る性能を示した。
• SSAN-RはO&M&IからCプロトコルで6.67%のHTERと98.75%のAUCを達成し、未学習ドメインにおける優れた一般化能力を示した。
• アブレーションスタディの結果、対照的損失（L_contra）を削除するとHTERが2.08%上昇し、ドメイン固有の特徴を抑圧する上でその重要性が確認された。
• ストップ勾配操作により一般化性能が向上し、ストップ勾配を適用したSSAN-Mは、適用しないバージョンと比較してHTERが1.08%低かった。
• t-SNE可視化により、スタライズド特徴がライブとスプーフのサンプル間でより分離可能でドメインに頑健な表現を学習していることが確認された。
• Grad-CAM可視化により、モデルがモアレパターンや印刷カットエッジなどのスプーフィングの手がかりを効果的に注目していることが示され、生体関連のテクスチャを検出する能力が裏付けられた。