[論文レビュー] Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision

Yaojie Liu, Amin Jourabloo+1 more|arXiv (Cornell University)|Mar 29, 2018

Biometric Identification and Security参考文献 28被引用数 70

ひとこと要約

本論文は、CNN-RNN フレームワークにおける深度マップと rPPG 信号を用いた補助監視を提案し、顔の偽造検出の一般化を向上させるとともに、SiW spoof-in-the-wild データベースを導入する。

ABSTRACT

Face anti-spoofing is the crucial step to prevent face recognition systems from a security breach. Previous deep learning approaches formulate face anti-spoofing as a binary classification problem. Many of them struggle to grasp adequate spoofing cues and generalize poorly. In this paper, we argue the importance of auxiliary supervision to guide the learning toward discriminative and generalizable cues. A CNN-RNN model is learned to estimate the face depth with pixel-wise supervision, and to estimate rPPG signals with sequence-wise supervision. Then we fuse the estimated depth and rPPG to distinguish live vs. spoof faces. In addition, we introduce a new face anti-spoofing database that covers a large range of illumination, subject, and pose variations. Experimental results show that our model achieves the state-of-the-art performance on both intra-database and cross-database testing.

研究の動機と目的

• 二値監視下で深層顔偽造検出の一般化ギャップを克服する動機づけ。
• 識別可能な偽造パターンの学習を導くための、空間的補助情報（深度）と時間的補助情報（rPPG）を導入。
• ライブ/偽造分類のために深度マップと rPPG 信号を同時に推定する CNN-RNN アーキテクチャを開発。
• 特徴を整列させる非剛性登録層を提案して、ロバストな時系列モデリングを可能にする。
• 大光照、姿勢、デバイスの大きな差異を含む難解な SiW データセットを作成・公開し、堅牢な評価を促進。

提案手法

• 深度マップ監督を用いて CNN の学習を、ライブと偽造の深度手がかりへと導く。ピクセル単位の深度損失を介して。
• CNN が深度と特徴を推定し、次に RNN がフレーム間で rPPG 信号を推定する、シーケンスレベルの監督を用いた CNN-RNN パイプラインを学習。
• 推定された 3D 形状を用いて CNN の特徴マップを整列させ、ロバストな時系列学習を可能にする非剛性登録層を導入。
• 2つのストリーミングデータ経路（CNN-ストリームと CNN-RNN-ストリーム）で訓練し、エンドツーエンド最適化のためにそれらを交互に使用。
• テスト時には深度と rPPG の出力を組み合わせ、2乗ノルムの加重和を用いて最終の live/spoof スコアを計算。
• ライブと偽造ビデオのための真偽様の擬似深度マップと擬似 rPPG 信号を収集・利用して学習を監督。

実験結果

リサーチクエスチョン

• RQ1 深度マップと rPPG 信号による補助監督は、二値分類を超えた一般化を実現できるか？
• RQ2 深度と rPPG 手掛かりを、ライブ/偽造識別のための統一CNN-RNNアーキテクチャに効果的に統合する方法は？
• RQ3 非剛性登録は、姿勢・表情の変化に対して特徴を整列させる上でどの程度ロバストな時系列モデリングに寄与するか？
• RQ4 提案された SiW データベースは、堅牢な偽造対策モデルを訓練するのに十分な多様性を提供するか？
• RQ5 提案手法は、最新方法と比較して内部・外部データベース評価でどのように性能を発揮するか？

主な発見

• 深度と rPPG の補助監督を持つ提案モデルは、内部および外部データベースで最先端の性能を達成する。
• CNNのみと CNN-RNN の訓練を交互に行う二ストリーム訓練戦略は、収束と一般化を改善。
• より長い rPPG シーケンス訓練（より大きな Nf）は ACER を低減し、時系列監督の利点を示す。
• 非剛性登録層は、登録なしのモデルより時系列整合性と性能を向上させる。
• デ cross-database 結果は、従来法に比べてクロステストエラーを大幅に削減し、強い一般化を示唆。
• アブレーション研究は、深度監督、 rPPG 監督、非剛性登録層を組み合わせると最良の結果を得ることを示す。