[論文レビュー] Exploiting temporal and depth information for multi-frame face anti-spoofing

Zezheng Wang, Chenxu Zhao+5 more|arXiv (Cornell University)|Nov 13, 2018

Biometric Identification and Security参考文献 32被引用数 77

ひとこと要約

この論文は、短期および長期の動きの手がかり（OFFBとConvGRU）と対比的深度損失を組み合わせた深度監督付きの多-frame 顔面偽造検出フレームワークを紹介し、4つのベンチマークで最先端の結果を達成します。

ABSTRACT

Face anti-spoofing is significant to the security of face recognition systems. Previous works on depth supervised learning have proved the effectiveness for face anti-spoofing. Nevertheless, they only considered the depth as an auxiliary supervision in the single frame. Different from these methods, we develop a new method to estimate depth information from multiple RGB frames and propose a depth-supervised architecture which can efficiently encodes spatiotemporal information for presentation attack detection. It includes two novel modules: optical flow guided feature block (OFFB) and convolution gated recurrent units (ConvGRU) module, which are designed to extract short-term and long-term motion to discriminate living and spoofing faces. Extensive experiments demonstrate that the proposed approach achieves state-of-the-art results on four benchmark datasets, namely OULU-NPU, SiW, CASIA-MFSD, and Replay-Attack.

研究の動機と目的

• 時間的深さが生体と偽装顔の識別に果たす役割を分析する。
• RGBフレームからの時間情報を活用する深度監督アーキテクチャを開発する。
• PADのための短期および長期の動きを捉えるメカニズムを導入する（OFFBとConvGRU）。
• 深度監督の下で顔のTopographyを学習する対比的深度損失を提案する。
• 標準的なPADベンチマークで優れた性能を示す。

提案手法

• 単眼RGBフレームから深度を推定する深度監督ネットワークを用いる。
• 絶対深度損失と対比的深度損失を用いた単一 frame の深度回帰を用いる。
• 光学フロー誘導特徴ブロック（OFFB）で短期動作を抽出する。
• 畳み込み型ゲート付きリカレントユニット（ConvGRU）で長期動作を捉える。
• 単一フレームと多フレームの深度マップを残差風の融合で統合して D_fusion を得る。
• 二段階の学習戦略で訓練する：まず単一フレーム部分を固定し、次に深度とバイナリ損失で多フレーム部分を微調整する。

実験結果

リサーチクエスチョン

• RQ1 RGBフレームから推定される深度と時間情報は、静的な手がかりを超えてプレゼンテーション攻撃検出を改善できるか。
• RQ2 深度監督下でOFFB（短期動作）とConvGRU（長期動作）を組み込むことはPAD性能にどのように寄与するか。
• RQ3 対比的深度損失を取り入れることで、ライブ/偽装識別のための顔の深度トポロジーの学習が向上するか。
• RQ4 提案された深度監督付き多-frameアプローチは、従来法と比べて標準的なPADベンチマークでどのような性能を示すか。

主な発見

• このアプローチは4つのPADベンチマーク（OULU-NPU、SiW、CASIA-MFSD、Replay-Attack）で最先端の結果を達成する。
• アブレーション研究により、OFFBとConvGRUの両方が単一フレームのベースラインより精度を向上させ、その組み合わせがさらなる利得を提供することが示される。
• 対比的深度損失は、ユークリッド深度監督のみの場合より一般化性能を改善する。
• 多フレーム深度マップを単一フレーム深度と融合することで、生体/偽装の識別性能が向上し、特に困難なクロス-testing設定においても改善が見られる。