[論文レビュー] Improving Face Anti-Spoofing by 3D Virtual Synthesis

Jianzhu Guo, Xiangyu Zhu+4 more|arXiv (Cornell University)|Jan 2, 2019

Biometric Identification and Security参考文献 45被引用数 6

ひとこと要約

本稿では、印刷された写真を3次元メッシュに変換し、湾曲・回転させた後、透視投影で2次元のスプーフィング画像をレンダリングすることで、大規模で現実的なスプーフィング顔サンプルを生成する3次元バーチャル合成手法を提案する。データバランス戦略を組み合わせることで、合成データが顔のスプーフィング防止性能を顕著に向上させ、CASIA-MFSD、Replay-Attack、CASIA-RFSにおける汎化性能において最先端の結果を達成した。ACERは11.72%、Top-1正答率は91.68%を達成した。

ABSTRACT

Face anti-spoofing is crucial for the security of face recognition systems. Learning based methods especially deep learning based methods need large-scale training samples to reduce overfitting. However, acquiring spoof data is very expensive since the live faces should be re-printed and re-captured in many views. In this paper, we present a method to synthesize virtual spoof data in 3D space to alleviate this problem. Specifically, we consider a printed photo as a flat surface and mesh it into a 3D object, which is then randomly bent and rotated in 3D space. Afterward, the transformed 3D photo is rendered through perspective projection as a virtual sample. The synthetic virtual samples can significantly boost the anti-spoofing performance when combined with a proposed data balancing strategy. Our promising results open up new possibilities for advancing face anti-spoofing using cheap and large-scale synthetic data.

研究の動機と目的

• 顔スプーフィング防止における本物のスプーフィング顔トレーニングデータの不足と高コスト問題に対処すること。
• 既存データセットに不足している湾曲・回転スプーフィング攻撃におけるモデルの汎化性能を向上させること。
• 合成スプーフィングサンプルを用いて、大規模かつ低コストのディープラーニングモデルのトレーニングを可能とすること。
• 本番のスプーフィングサンプルと合成スプーフィングサンプルの間のデータインバランスを、新しいデータバランス戦略により是正すること。
• 合成データとデータバランス戦略の有効性を、イントラデータベースおよびインターデータベースの汎化性能において検証すること。

提案手法

• 印刷された写真を平らな表面とみなして離散化し、多角形ジオメトリに変換することで、写真を3次元メッシュに変換する。
• 湾曲や平面外回転を含むランダムな3次元変換を適用し、現実的なスプーフィング状況を模倣する。
• 透視投影を用いて変換された3次元メッシュをレンダリングし、複数の視点から合成された2次元スプーフィング画像を生成する。
• クラスインバランスを軽減するために、バランスの取れたサンプリング戦略を用いて、合成スプーフィングデータと本物のライブ顔を組み合わせてディープニューラルネットワークをトレーニングする。
• 外部のライブ顔データ（例：MultiPIE）を統合し、未観測なポーズ変化におけるモデルの汎化性能をさらに向上させる。
• 2段階のトレーニングプロトコルを採用：まずバランスの取れたサンプリングで合成データでトレーニングし、次に本物データでファインチューニングすることで、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 3次元バーチャル合成は、スプーフィング防止のためのディープラーニングモデルを効果的に訓練できる現実的なスプーフィング顔サンプルを生成できるか？
• RQ2 合成データに加えてデータバランス戦略を適用することで、湾曲・回転などの未観測スプーフィング攻撃におけるモデルの汎化性能が向上するか？
• RQ3 合成データでトレーニングされたモデルの性能は、標準ベンチマークにおいて最先端の手法と比較してどうなるか？
• RQ4 外部のライブデータを追加することで、合成スプーフィングデータでトレーニングされたモデルの汎化性能がさらに向上するか？
• RQ5 提案手法は、湾曲・回転スプーフィングサンプルを含む、CASIA-RFSのような挑戦的なテストセットに対しても良好に汎化できるか？

主な発見

• CASIA-MFSDでは、2.22%のEERと1.67%のHTERを達成し、すべての先行最先端手法を上回った。
• Replay-Attackでは、0.25%のEERと0.63%のHTERを達成し、既存のアプローチを著しく上回った。
• CASIA-RFSにおけるインターデータベーステストでは、ACERを11.72%まで低下させ、Top-1正答率は91.68%を達成した。ベースライン比でTop-1正答率が9.85%向上した。
• 合成データの導入のみで、CASIA-RFSにおけるAPCERは20.96%から4.01%に低下し、強力なスプーフィング検出能力を示した。
• 合成データと外部ライブデータ（MultiPIE）の組み合わせにより、BPCERは50.23%から18.75%に低下し、ライブ顔分類の正答率が著しく向上した。
• データバランス戦略は、クラスインバランスを効果的に是正し、大規模な合成スプーフィングデータに対する安定的かつ優れたトレーニングを可能にした。