[論文レビュー] Multi-domain Learning for Updating Face Anti-spoofing Models

Xiao Guo, Yaojie Liu+2 more|arXiv (Cornell University)|Aug 23, 2022

Biometric Identification and Security被引用数 5

ひとこと要約

本稿では、プライバシー制約によりソースドメインデータが利用できない状況下で、ターゲットドメインデータのみを用いて事前学習済みFASモデルを更新する、新しいマルチドメイン顔偽造検出（MD-FAS）フレームワークを提案する。ソースドメインでのパフォーマンスを維持しつつ、ターゲットドメインに適応する。本手法は、モデル応答の代理として高解像度のピクセル単位の偽造領域を生成するスプーフリージョン推定器（SRE）を導入し、多様なFASモデルとシームレスに統合可能なFASラッパーアーキテクチャを提案することで、4つの異なる評価プロトコルを備えた新ベンチマークで最先端の性能を達成した。

ABSTRACT

In this work, we study multi-domain learning for face anti-spoofing(MD-FAS), where a pre-trained FAS model needs to be updated to perform equally well on both source and target domains while only using target domain data for updating. We present a new model for MD-FAS, which addresses the forgetting issue when learning new domain data, while possessing a high level of adaptability. First, we devise a simple yet effective module, called spoof region estimator(SRE), to identify spoof traces in the spoof image. Such spoof traces reflect the source pre-trained model's responses that help upgraded models combat catastrophic forgetting during updating. Unlike prior works that estimate spoof traces which generate multiple outputs or a low-resolution binary mask, SRE produces one single, detailed pixel-wise estimate in an unsupervised manner. Secondly, we propose a novel framework, named FAS-wrapper, which transfers knowledge from the pre-trained models and seamlessly integrates with different FAS models. Lastly, to help the community further advance MD-FAS, we construct a new benchmark based on SIW, SIW-Mv2 and Oulu-NPU, and introduce four distinct protocols for evaluation, where source and target domains are different in terms of spoof type, age, ethnicity, and illumination. Our proposed method achieves superior performance on the MD-FAS benchmark than previous methods. Our code and newly curated SIW-Mv2 are publicly available.

研究の動機と目的

• プライバシー制約によりソースドメインデータが入手できない状況下で、新たなターゲットドメインに適応するため、事前学習済み顔偽造検出（FAS）モデルを更新する課題に対処すること。
• ログティックスや活性化マップに依存せずに、事前学習済みモデルの意思決定パターンを保持することで、モデル更新時の深刻な忘却（catastrophic forgetting）を緩和すること。
• 多様なFASアーキテクチャや損失関数とシームレスに統合可能な、モデルに依存しないフレームワークを構築すること。
• スプーフタイプ、年齢、民族、照明の変化といった多様なドメインシフトを含む、MD-FASのための新ベンチマークを確立すること。
• 実世界の展開要件を反映させるために、ソースドメインとターゲットドメインの両方でモデルを統合的に評価すること。

提案手法

• 入力画像内のスプーフ領域を示す1つの高解像度ピクセル単位のバイナリマスクを生成する、軽量で非教師ありのモジュール「スプーフリージョン推定器（SRE）」を提案する。
• SREの出力を、深刻な忘却を防ぐために事前学習済みモデルの応答の代理として用い、ログティックスやgrad-CAMのような精度が低い代替手法に代わる。
• SREと知識蒸留のコンponentsを、最小限のアーキテクチャ変更で任意のFASモデルに統合可能な「FASラッパー」フレームワークを導入する。
• スプーフキューエスティメート（SCE）レイヤーとマルチスケール特徴抽出器（MsFE）から構成される、一般的なFASモデルの定式化を採用することで、モデルに依存しない適合性を実現する。
• SIW、SIW-Mv2、Oulu-NPUに基づく新ベンチマークを設計し、実世界のドメインシフトを模擬する4つの異なる評価プロトコルを用意する。
• SREが生成するスプーフトレースをソフトラベルとして用い、事前学習済みモデルから更新済みモデルへの知識蒸留を実施する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー制約によりソースドメインデータが利用できない状況下で、ターゲットドメインデータのみを用いて、事前学習済みFASモデルを効果的に更新できるか？
• RQ2 ログティックスや活性化マップに依存せずに、高解像度でピクセル単位の精度でスプーフトレースを正確かつ効率的に推定できるか？
• RQ3 多様なFASアーキテクチャや損失関数とシームレスに統合可能な、モデルに依存しないフレームワークを設計できるか？
• RQ4 ソースデータが存在しない状況下で、本手法は既存の忘却防止およびドメイン適応技術と比較してどのように性能を発揮するか？
• RQ5 スプーフタイプ、年齢、民族、照明といった異なるドメインシフトが、更新済みFASモデルの一般化性能に及ぼす影響は何か？

主な発見

• 提案されたMD-FASフレームワークは、新規のFASMDベンチマークで最先端の性能を達成し、ソースドメインとターゲットドメインの両方で評価された際、先行手法を上回った。
• SREモジュールは、低解像度や複数トレースアプローチに比べて、はるかに詳細なスプーフ領域のバイナリマスクを生成し、スプーフネスの局所化精度を顕著に向上させた。
• FASラッパーフレームワークは、さまざまなFASモデルとのシームレスな統合を可能とし、多様なアーキテクチャや損失関数において高い適応性を示した。
• 本手法は、トレーニング中にソースデータにアクセスできない状況下でも、深刻な忘却を効果的に抑制し、ソースドメインでの高いパフォーマンスを維持した。
• 4つの異なる評価プロトコルを備えた新FASMDベンチマークは、実世界のドメインシフト下で既存手法に顕著な性能差を示しており、本手法の必要性を浮き彫りにした。
• アブレーションスタディの結果、ログティックスやgrad-CAMに比べ、SREベースの知識蒸留がソースドメインパフォーマンスの維持にさらに効果的であることが確認された。