[論文レビュー] Exploring Hypergraph Representation on Face Anti-spoofing Beyond 2D Attacks

Wei Hu, Gusi Te+3 more|arXiv (Cornell University)|Nov 28, 2018

Biometric Identification and Security参考文献 30被引用数 4

ひとこと要約

本稿では、3次元顔の偽造検出のためのハイパーグラフ畳み込みニューラルネットワーク（HGCNN）を提案する。顔のキーポイントのコンパクトなハイパーグラフ表現を用いることで、ポーズ不変性と計算効率性を実現した特徴抽出を可能にする。RGBおよび深度モダリティをハイパーグラフ畳み込みと深度補助監視によって統合することで、2次元および3次元の偽装検出ベンチマークにおいて最先端の性能を達成した。新たに構築されたカラーデータ、深度データ、赤外線データを含む3次元顔の攻撃データベースを用いた。

ABSTRACT

Face anti-spoofing plays a crucial role in protecting face recognition systems from various attacks. Previous model-based and deep learning approaches achieve satisfactory performance for 2D face spoofs, but remain limited for more advanced 3D attacks such as vivid masks. In this paper, we address 3D face anti-spoofing via the proposed Hypergraph Convolutional Neural Networks (HGCNN). Firstly, we construct a computation-efficient and posture-invariant face representation with only a few key points on hypergraphs. The hypergraph representation is then fed into the designed HGCNN with hypergraph convolution for feature extraction, while the depth auxiliary is also exploited for 3D mask anti-spoofing. Further, we build a 3D face attack database with color, depth and infrared light information to overcome the deficiency of 3D face anti-spoofing data. Experiments show that our method achieves the state-of-the-art performance over widely used 3D and 2D databases as well as the proposed one under various tests.

研究の動機と目的

• 2次元攻撃検出の進展にもかかわらず、未だ十分に調査が進んでいない3次元マスク攻撃の課題に対処すること。
• 従来の2次元ベースの手法や単純なグラフモデルが、高次元の顔の関係性やポーズ変動を捉えることの制限を克服すること。
• キーポイントのみを用いたハイパーグラフ上で表現することで、複雑さを低減しつつも判別性の高い特徴を保持する、計算効率的で頑健な顔の表現を構築すること。
• ハイパーグラフ畳み込みを用いて深度情報を統合し、ますますリアルで検出が困難な3次元マスクの検出性能を向上させること。
• カラーデータ、深度データ、赤外線データを含む、包括的な3次元顔の攻撃データベースを構築し、多様で高品質な3次元偽装データの不足を解消すること。

提案手法

• 68個の顔キーポイントと補間点のみを用いてハイパーグラフ表現を構築し、ハイパーエッジを介して高次元の関係性をモデル化することで、ポーズ不変性を確保する。
• RGBおよび深度モダリティからの階層的特徴を抽出するために、ハイパーグラフ畳み込みを適用するハイパーグラフ畳み込みニューラルネットワーク（HGCNN）を設計する。
• RGBおよび深度入力の両方に同一のハイパーグラフ構造を適用することで、モダリティ固有の特徴を保持しつつ、共同特徴学習を可能にする。
• ハイパーグラフ畳み込み後に深度とRGBの特徴を統合し、深度を補助信号として用いることで、3次元マスク検出性能を向上させる。
• RGBおよびHSV色空間を用いたマルチモーダル入力戦略を採用し、テクスチャ表現を強化することで、入力チャネル数を6に増加させ、より豊かな特徴学習を実現する。
• ハイパーエッジ次数を増加させることでハイパーグラフ構築を最適化し、顔全体のパターンを捉える能力を向上させ、きわめて疎なランドマーク検出に対しても頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハイパーグラフベースの表現は、ポーズや表情の変動に対して不変である一方で、高次元の顔の関係性を効果的にモデル化できるか？
• RQ2 標準的なグラフ畳み込みと比較して、ハイパーグラフ畳み込みは顔の偽装検出における特徴学習をどの程度向上させるか？
• RQ3 共有されたハイパーグラフ構造を通じたRGBと深度モダリティの統合は、3次元マスク攻撃の検出にどの程度効果的か？
• RQ4 RGB、深度、赤外線データを含むマルチスペクトルデータを有する新たに収集された3次元顔の攻撃データベースは、実世界の偽装攻撃に対するモデルの汎化性能と性能を向上させるか？
• RQ5 提案手法は、2次元および3次元の攻撃シナリオを含む多様なベンチマークで最先端の性能を達成するか？

主な発見

• 提案されたHGCNNは、FA3Dデータセットにおけるイントラテストプロトコル1で0.7%のACERを達成し、3次元マスク検出において既存手法を上回った。
• Oulu-NPUデータセットでは、HGCNN（RGB+HSV）が6.4%のACERを達成し、MixedFASNet や GRADIANT_extra などのベースライン手法を上回り、強力な2次元偽装検出能力を示した。
• FA3D-3DMADにおけるクロスデータセットテストでは、HTERが34.0%、EERが43.0%であった。これは、照明や深度のばらつきによるドメインシフトに対しても、強力な汎化性能を示している。
• 可視化の結果、2層のハイパーグラフ畳み込みを経ると、目の周囲や口元の近接ランドマーク間の特徴距離が顕著に小さくなり、特徴クラスタリングの向上が示された。
• 深度補助信号は3次元マスク攻撃の検出性能を向上させ、アブレーションスタディにより、高精細な3次元マスクと本物の顔を区別する上で不可欠な役割を果たしていることが確認された。
• FA3Dデータセットにおいて被験者変動の条件下で99.6%の精度と0.5%のHTERを達成し、被験者レベルの多様性に対しても頑健であることが示された。