[論文レビュー] Face De-Spoofing: Anti-Spoofing via Noise Modeling

Amin Jourabloo, Yaojie Liu+1 more|arXiv (Cornell University)|Jul 26, 2018

Biometric Identification and Security参考文献 28被引用数 15

ひとこと要約

本稿では、CNNを用いてスプーフィングをライブ顔とスプーフィングノイズパターンに分解するモデルとして、制約付きの教師信号を用いた顔のスプーフィング防止手法を提案する。ライブ顔の教師データが存在しない状況でもスプーフィングノイズを推定することで、SOTAのスプーフィング防止性能を達成し、スプーフィングタイプごとに判別可能なノイズパターンを明らかにした。Oulu-NPUおよびCASIA-WEBBIデータセットで検証された。

ABSTRACT

Many prior face anti-spoofing works develop discriminative models for recognizing the subtle differences between live and spoof faces. Those approaches often regard the image as an indivisible unit, and process it holistically, without explicit modeling of the spoofing process. In this work, motivated by the noise modeling and denoising algorithms, we identify a new problem of face de-spoofing, for the purpose of anti-spoofing: inversely decomposing a spoof face into a spoof noise and a live face, and then utilizing the spoof noise for classification. A CNN architecture with proper constraints and supervisions is proposed to overcome the problem of having no ground truth for the decomposition. We evaluate the proposed method on multiple face anti-spoofing databases. The results show promising improvements due to our spoof noise modeling. Moreover, the estimated spoof noise provides a visualization which helps to understand the added spoof noise by each spoof medium.

研究の動機と目的

• スプーフィング検出をブラックボックス分類タスクとして扱う従来手法に見られる解釈可能性と一般化性能の欠如を是正すること。
• トレーニング時にライブ顔の教師データが得られないスプーフィング画像分解の課題を、弱教師付き学習フレームワークの設計により克服すること。
• スプーフィングプロセスをノイズ注入メカニズムとしてモデル化し、逆方向にノイズと元のライブ顔に分解可能にすること。
• 印刷およびリプレイ攻撃におけるメディア固有のアーティファクトを理解するために、スプーフィングノイズパターンの可視化と分析を可能にすること。
• スプーフィングメディアラベルの明示的教師信号がなくても、推定されたスプーフィングノイズがスプーフィングタイプを分類するのに非常に判別可能であることを示すこと。

提案手法

• スプーフィング入力画像からライブ顔とスプーフィングノイズを推定するCNNベースの画像分解ネットワークを提案する。
• 再構成損失を用いて、本物（ライブ）顔に対してスプーフィングノイズをゼロに制約し、真のサンプルに対してはノイズを出力しないようにモデルを学習させる。
• 空間的に一様で繰り返し的なノイズ制約を適用し、画像全体にわたり広がった構造的ノイズを促進する。
• 推定ノイズの高周波成分を抽出するためにハイパスフィルタを適用し、可視化および分類性能を向上させる。
• 最適化の安定化のため、再構成損失、スプーフィングノイズの規則性、アイデンティティ保持を組み合わせたマルチタスク損失を用いてモデルを訓練する。
• トレーニング時にスプーフィングメディアラベルが入手不可であっても、推定されたスプーフィングノイズを下流のスプーフィング防止分類タスクの判別特徴として活用する。

実験結果

リサーチクエスチョン

• RQ1 スプーフィングはノイズ注入プロセスとしてモデル化可能であり、ライブ顔の教師データがなくてもスプーフィング画像からノイズを逆方向に推定可能か？
• RQ2 トレーニング時に本物顔が入手できない状況下で、深層学習モデルがスプーフィング顔をライブ顔とスプーフィングノイズに分解できるか？
• RQ3 推定されたスプーフィングノイズパターンは、印刷およびリプレイ攻撃などの異なるスプーフィングメディアを十分に判別可能か？
• RQ4 推定ノイズの高周波成分は、スプーフィング防止やフォレンジック分析に有用なメディア固有の特徴を明らかにできるか？
• RQ5 提案手法は、ベンチマークデータセットにおいて、従来のSOTA手法と比較してスプーフィング防止性能を向上させたか？

主な発見

• 提案手法はOulu-NPUおよびCASIA-WEBBIデータセットでSOTA性能を達成し、優れた一般化性能とロバストネスを示した。
• 推定されたスプーフィングノイズは非常に判別可能である：ノイズパターンのみを用いた3クラスSVM分類器（ライブ、印刷、ディスプレイ）が82.0％の精度を達成した。
• 5クラス分類器（ライブ、印刷1、印刷2、ディスプレイ1、ディスプレイ2）でも54.3％の精度を達成し、明示的教師信号なしでもノイズがメディア固有の情報を保持していることを示した。
• 推定されたスプーフィングノイズの可視化により、同じスプーフィングメディア内では一貫した空間的パターンが観察され、各メディアごとに明確な色およびテクスチャ的特徴が確認された。
• 推定ノイズの高周波バンドが、スプーフィングメディア分類において最も判別可能な情報を保持しており、フォレンジック分析への応用が有効であることを裏付けた。
• 失敗事例は稀であり、主にノイズ推定の誤差に起因しており、モデル全体の安定性が高く、今後の研究でさらに改善可能であることが示唆された。