[論文レビュー] Creating Artificial Modalities to Solve RGB Liveness

Aleksandr Parkin, Oleg Grinchuk|arXiv (Cornell University)|Jun 29, 2020

Biometric Identification and Security参考文献 1被引用数 5

ひとこと要約

本論文は、動画シーケンスから人工的モダリティ（ランクプールとオプティカルフロー）を生成することで、未確認の攻撃および民族的背景に対しても頑健なRGBオンリーフェースアンチスプーフィング手法を提案する。シーケンスオーグメンテーションを適用し、軽量なネットワークによるこれらの人工特徴の統合により、CASIA-SURF CeFAデータセットで2.72%のACERを達成し、先行手法を1.8倍の性能で上回る最先端の性能を実現した。

ABSTRACT

Special cameras that provide useful features for face anti-spoofing are desirable, but not always an option. In this work we propose a method to utilize the difference in dynamic appearance between bona fide and spoof samples by creating artificial modalities from RGB videos. We introduce two types of artificial transforms: rank pooling and optical flow, combined in end-to-end pipeline for spoof detection. We demonstrate that using intermediate representations that contain less identity and fine-grained features increase model robustness to unseen attacks as well as to unseen ethnicities. The proposed method achieves state-of-the-art on the largest cross-ethnicity face anti-spoofing dataset CASIA-SURF CeFA (RGB).

研究の動機と目的

• 赤外線や深度センサーなどの追加センサーが利用できない実世界のシナリオにおけるRGBオンリーフェースアンチスプーフィングの課題に対処すること。
• アイデンティティや細分化された特徴に過剰に適合するのを防ぐことで、未確認の攻撃タイプおよび民族的背景へのモデル一般化を向上させること。
• 特別なハードウェアに依存せずに、本物とスプーフィング動画の間の動的外見的差異を活用する、頑健でエンドツーエンドのパイプラインを開発すること。
• 動画シーケンスから導出された人工的モダリティが、物理的マルチモーダルセンサーの有効な代替手段として機能できることを示すこと。

提案手法

• アイデンティティ固有の詳細を抑制しながら動的外見特徴を抽出するため、2つの正則化レベル（C=1000およびC=1）を用いたランクプールを用いてRGB動画トラックから人工的モダリティを生成する。
• 最初のフレームと最後のフレーム、最初のフレームと2番目のフレームなどのキーフレーム間のオプティカルフロー表現を生成し、本物とスプーフィングの顔の動きの差を強調する。
• すべてのフレームをランダムに選択された1つのフレーム（スプーフィングラベル付き）に置き換えることで、シーケンスオーグメンテーションを適用し、スプーフィングサンプルの多様性を高め、一般化性能を向上させる。
• ランダム回転、カラージェッタ、画像シフトなどのデータオーグメンテーション技術を用いて、モダリティの崩壊を防ぎ、耐性を強化する。
• 4つの畳み込みブロックと最終的な5×5畳み込みを備えたシンプルで浅いニューラルネットワーク（SimpleNet）を用い、複数の人工的モダリティを1つの予測に統合する。
• バッチサイズ32、GPUメモリ1.5GBで、Adam最適化手法を用いてエンドツーエンドでモデルを学習し、1プロトコルあたり1時間で収束を達成した。

実験結果

リサーチクエスチョン

• RQ1 RGB動画シーケンスから導出された人工的モダリティは、フェースアンチスプーフィングにおいて物理的マルチモーダルセンサーの有効な代替手段として機能できるか？
• RQ2 ランクプールの正則化レベルの違いが、未確認の攻撃および民族的背景へのモデル一般化に与える影響は何か？
• RQ3 人工的モダリティ抽出と組み合わせた場合、シーケンスオーグメンテーションがRGBオンリーアンチスプーフィングにおける耐性をどの程度向上させるか？
• RQ4 RGB動画シーケンスからのオプティカルフローは、本物とスプーフィングの提示を区別するのに十分な動的手がかりを捉えられるか？
• RQ5 標準的なデータオーグメンテーションを用いた軽量でエンドツーエンドの統合ネットワークは、人工的モダリティのみを用いて最先端の性能を達成できるか？

主な発見

• 提案手法はCASIA-SURF CeFAデータセットで2.72%のACERを達成し、新たな最先端性能を樹立し、2番目に良い手法を1.8倍の性能で上回った。
• C=1000でランクプールを用いることで、ベースラインの23.42%からACERが12.68%に低下し、細分化された特徴の抑制による利点が示された。
• シーケンスオーグメンテーションのみでACERが7.3%に低下し、特にデータオーグメンテーションと組み合わせた場合の一般化向上に寄与することが明らかになった。
• オプティカルフローをパイプラインに追加することでACERはさらに2.72%に低下し、0.11%のAPCERを達成した。これは静的スプーフィング攻撃の強力な検出を示している。
• BPCERは5.33%であり、特に模倣行動が少ない被験者では、本物動画の微細な顔の動きが依然として課題であることが示された。
• 人工的モダリティとシーケンスオーグメンテーションの組み合わせは、未確認の攻撃タイプおよび民族的背景に対する耐性を顕著に向上させ、本手法の核心仮説を裏付けた。