[論文レビュー] CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing

Ajian Li, Zichang Tan+5 more|arXiv (Cornell University)|Mar 11, 2020

Biometric Identification and Security参考文献 42被引用数 7

ひとこと要約

本稿では、アフリカ、東アジア、中央アジアの3つの民族にまたがる明示的な民族属性ラベルを備えた、公開可能な顔偽造検出データセットであるCeFAを紹介する。CeFAは、4種類の攻撃タイプ（2D/3Dプリント、リプレイ、シリコーンゲル）、3つのモダリティ（RGB、深度、赤外線）をカバーし、最大の公開可能な顔偽造検出データセットである。また、各モダリティで静的・動的特徴の融合を実現する部分共有マルチモーダルネットワーク（PSMM-Net）を提案し、CeFA、OULU-NPU、SiW、CASIA-SURFで最先端の性能を達成。民族間の差異や未知の偽装攻撃に対しても高い耐性を示す。

ABSTRACT

Ethnic bias has proven to negatively affect the performance of face recognition systems, and it remains an open research problem in face anti-spoofing. In order to study the ethnic bias for face anti-spoofing, we introduce the largest up to date CASIA-SURF Cross-ethnicity Face Anti-spoofing (CeFA) dataset (briefly named CeFA), covering $3$ ethnicities, $3$ modalities, $1,607$ subjects, and 2D plus 3D attack types. Four protocols are introduced to measure the affect under varied evaluation conditions, such as cross-ethnicity, unknown spoofs or both of them. To the best of our knowledge, CeFA is the first dataset including explicit ethnic labels in current published/released datasets for face anti-spoofing. Then, we propose a novel multi-modal fusion method as a strong baseline to alleviate these bias, namely, the static-dynamic fusion mechanism applied in each modality (i.e., RGB, Depth and infrared image). Later, a partially shared fusion strategy is proposed to learn complementary information from multiple modalities. Extensive experiments demonstrate that the proposed method achieves state-of-the-art results on the CASIA-SURF, OULU-NPU, SiW and the CeFA dataset.

研究の動機と目的

• 顔偽装検出システムにおける民族的バイアスの研究を妨げる、明示的な民族属性ラベルを備えた公開可能な顔偽装検出データセットの不足を解消すること。
• 顔偽装検出における民族的多様性と未知の偽装攻撃への一般化性能を評価する包括的なベンチマークを確立すること。
• 動的特徴学習を通じて民族的バイアスおよび攻撃パターンバイアスを軽減する強力なマルチモーダル統合ベースラインを開発すること。
• 民族的多様性、未知の偽装攻撃、または両方の条件下での性能を体系的に測定するための4つの評価プロトコルを提供すること。
• 提案されたデータセットおよび手法が、SiW や OULU-NPU などの複数の公開ベンチマークで有効であることを示し、一般化性能の向上と最先端の結果を示すこと。

提案手法

• 1,607名の被験者を含み、3つの民族、4種類の攻撃タイプ（プリント、リプレイ、3Dプリント、シリコーンゲル）、3つのモダリティ（RGB、深度、赤外線）をカバーするCASIA-SURF CeFAデータセットを提案。異なる照明条件下で収録された。
• 各モダリティブランチ内に静的・動的特徴の融合機構を導入。動的画像は7フレームのシーケンスをランクプーリングすることで生成され、動きの特徴を捉える。
• モダリティ間の早期相互作用を可能にしつつ、モダリティ固有の特徴学習を維持する部分共有マルチモーダルネットワーク（PSMM-Net）を設計。
• 2ブランチアーキテクチャを採用：1つは静的画像特徴用、もう1つは動的画像特徴用。共有層と非共有層を組み合わせることで、誘導的バイアスと特徴の補完性のバランスをとる。
• 動的画像に変換するためのランクプーリングを用い、動画クリップを時間的差異（本物と偽物の違い）を強調する動的画像に変換。
• 民族的多様性、未知の偽装攻撃、または両方の条件下での性能を評価するための4つの評価プロトコルを適用。

実験結果

リサーチクエスチョン

• RQ1 民族的出自が顔偽装検出モデルの性能にどのように影響を与えるか、特に民族的多様性を考慮した設定下で。
• RQ2 最先端の偽装検出手法は、異なる民族グループに対して未知の偽装攻撃にどの程度一般化できるか。
• RQ3 動的特徴学習を用いたマルチモーダル統合により、民族的および偽装変動に対する耐性が向上するか。
• RQ4 提案されたPSMM-Netベースラインは、既存手法と比較して民族的バイアスおよび偽装バイアスをどの程度軽減できるか。
• RQ5 CeFAデータセットでの事前学習は、SiW や OULU-NPU などの他の公開ベンチマークでの性能向上に寄与するか。

主な発見

• 提案されたSD-Netベースラインは、CeFAのプロトコル1でACER 1.0%を達成し、BAS や STASN よりも優れた性能を示した。
• CeFAのプロトコル2では、ACER 1.1%を達成し、民族的多様性を考慮した評価下でも優れた一般化性能を示した。
• OULU-NPUのプロトコル3ではACER 2.5%、プロトコル4ではACER 2.6%を達成し、未知の偽装攻撃および民族的多様性への耐性が確認された。
• SiWでは、プロトコル3でACER 1.8%、プロトコル4でACER 2.6%を達成し、BAS や STASN よりも優れた性能を示した。
• CeFAデータセットでの事前学習は、SiW や OULU-NPU におけるACER性能を顕著に向上させ、特にプロトコル2および3では最高の結果を達成した。
• 可視化結果から、動的画像表現が動きや鏡面反射の差を効果的に捉えており、特にリプレイ攻撃と本物の顔を区別するのに有効であることが示された。