[論文レビュー] Aurora Guard: Reliable Face Anti-Spoofing via Mobile Lighting System

Jian Zhang, Ying Tai+7 more|arXiv (Cornell University)|Feb 1, 2021

Video Surveillance and Tracking Methods参考文献 15被引用数 11

ひとこと要約

Aurora Guard は、追加センサーを必要とせず、モバイルデバイス上で動的照明と反射解析を用いてRGBフレームから深度マップおよび素材マップを抽出する低コストでリアルタイムの顔偽造防止システムを提案する。光CAPTCHAを用いた一貫性検証と、分離特徴抽出を実現するマルチタスクCNNを活用することで、公開および大規模なプライベートデータセットにおいて最先端の性能を達成し、ハードウェア依存の手法を上回る。

ABSTRACT

Face authentication on mobile end has been widely applied in various scenarios. Despite the increasing reliability of cutting-edge face authentication/verification systems to variations like blinking eye and subtle facial expression, anti-spoofing against high-resolution rendering replay of paper photos or digital videos retains as an open problem. In this paper, we propose a simple yet effective face anti-spoofing system, termed Aurora Guard (AG). Our system firstly extracts the normal cues via light reflection analysis, and then adopts an end-to-end trainable multi-task Convolutional Neural Network (CNN) to accurately recover subjects' intrinsic depth and material map to assist liveness classification, along with the light CAPTCHA checking mechanism in the regression branch to further improve the system reliability. Experiments on public Replay-Attack and CASIA datasets demonstrate the merits of our proposed method over the state-of-the-arts. We also conduct extensive experiments on a large-scale dataset containing 12,000 live and diverse spoofing samples, which further validates the generalization ability of our method in the wild.

研究の動機と目的

• 専用の深度センサーに依存せずに、モバイル環境における信頼性の高い顔偽装防止を解決すること。
• 単一のモバイル光源のみを用いて、2次元および3次元の提示攻撃を含む多様な偽装攻撃に対する一般化性能を向上させること。
• コストフリーで携帯性があり、スマートフォンや組み込みデバイスへの実世界での展開に適した効率的なシステムを開発すること。
• 予測された照明パrameterと実際の照明パラメータの一致を検証する新しい光CAPTCHAメカニズムを用いて、システムの信頼性を向上させること。

提案手法

• 動的かつランダムな光源（光CAPTCHA）を用いて顔に変化する照照明パターンを照射し、分析用の反射フレームを生成する。
• ピクセル単位の差分演算により2つの連続する反射フレームから法線情報を抽出し、深度および素材情報が符号化されたフレームを得る。
• 共有エンコーダが法線情報を処理した後、深度マップと素材マップの回帰を別々のデコーダーで行うマルチタスク学習フレームワークを採用する。
• 分類分枝はエンコーダからの統合特徴と分離されたマップを用い、生体検証を実行する。
• 回帰分枝は光CAPTCHAパラメータを推定し、真の照明シーケンスとの一貫性を検証することで、モダリティ偽装の検出を可能にする。
• パイプライン全体がエンドツーエンドで学習可能であり、モバイルおよび組み込みプラットフォームにおけるリアルタイム推論を最適化している。

実験結果

リサーチクエスチョン

• RQ1 単一のモバイル光源のみを用いて、RGB反射フレームから深度マップおよび素材マップを信頼性高く回復できるか？
• RQ2 分離された深度および素材特徴は、2次元および3次元の偽装攻撃に対する一般化性能を向上させられるか？
• RQ3 追加のハードウェアを用いずに、光CAPTCHAメカニズムがモダリティ偽装に対するシステムの頑健性を向上させられるか？
• RQ4 実世界の環境において、ソフトウェアオンリーの偽装防止システムの性能は、ハードウェアベースの3次元センシングソリューションと比べてどうか？

主な発見

• Replay-Attackデータセットでは、Aurora Guard はFAR 0.02%を達成し、SURF (0.10%) や Deep LBP (0.10%) といった先行手法を大きく上回った。
• CASIAデータセットでは、Aurora Guard はFAR 0.75%を達成し、次善の手法（Patch-Depth CNNs 2.67%）を上回った。
• Aurora Guard の深度回復性能は、Intel 3Dカメラと同等であり、深度再構築において低RMSE(log)と高いδ<1.25指標を達成した。
• 素材マップの回復により、紙やスクリーンマスクなどの3次元偽装が効果的に検出可能であり、可視化結果では本物の顔との明確な違いが示された。
• モバイルCPU上での推論時間は効率的であり、多数のSOTA手法を上回り、デバイス内での実装に向けたリアルタイム性を確認した。
• 微調整なしに複数のデータセットにわたって良好な一般化性能を示し、実世界のシナリオにおける強力な頑健性とポータビリティを実証した。