[論文レビュー] Style Transfer Applied to Face Liveness Detection with User-Centered Models

A R Israel Laurensi, Luciana Trinkaus Menon+3 more|arXiv (Cornell University)|Jul 16, 2019

Face recognition and analysis参考文献 27被引用数 4

ひとこと要約

本稿では、VGG19を用いてスタイル変換によりスプーフ画像を生成し、トレーニングデータを拡張することで、被験者固有の生体検証を可能にするユーザ中心の顔偽造検出モデル（FAS-UCM）を提案する。本手法は、SiWデータベース上で平均分類誤差率0.22を達成し、実際のスプーフデータが限られているにもかかわらず、個人別スプーフ検出の実現可能性を示している。

ABSTRACT

This paper proposes a face anti-spoofing user-centered model (FAS-UCM). The major difficulty, in this case, is obtaining fraudulent images from all users to train the models. To overcome this problem, the proposed method is divided in three main parts: generation of new spoof images, based on style transfer and spoof image representation models; training of a Convolutional Neural Network (CNN) for liveness detection; evaluation of the live and spoof testing images for each subject. The generalization of the CNN to perform style transfer has shown promising qualitative results. Preliminary results have shown that the proposed method is capable of distinguishing between live and spoof images on the SiW database, with an average classification error rate of 0.22.

研究の動機と目的

• 被験者固有の顔生体検証モデルのトレーニングに必要なスプーフ画像データが限られているという課題に対処すること。
• 実世界の状況では、すべての個々のユーザーからスプーフ画像を収集することは現実的ではないという課題を克服すること。
• スタイル変換を用いて、実際の顔画像から現実的なスプーフ画像を合成するデータ拡張戦略を開発すること。
• 被験者固有の畳み込みニューラルネットワーク（CNN）をトレーニングし、各ユーザーごとの一般化性能と検出精度を向上させること。
• ACER、FAR、FRRといった標準指標を用いて、SiWデータベース上でユーザ中心モデルの性能を評価すること。

提案手法

• Gatysらのスタイル変換手法をVGG19に基づいて用い、スプーフ画像のスタイルを実際の顔画像に転送することで、合成されたスプーフサンプルを生成する。
• スタイルリファレンスとして、SiWデータベース内の代表的なスプーフ画像を選定する。
• 実画像と生成スプーフ画像を組み合わせた被験者固有のデータ上で、Spoof-ModNetとMobileNetV2の2つのCNNアーキテクチャをトレーニングする。
• 各被験者のモデルを、自身のデータ上で独立してトレーニングおよびテストするユーザ中心のトレーニングプロトコルを適用する。
• スタイル変換中に顔のアイデンティティを保持しつつ、モアレパターンなどのスプーフアーティファクトを転送するために、知覚損失とコンテンツ損失を用いる。
• ACER、FAR、FRR、F1スコアを用いてモデルを評価し、実世界の展開を想定して被験者ごとにテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 スタイル変換技術は、生体検証のトレーニングデータ拡張のため、実画像から現実的なスプーフ顔画像を効果的に生成できるか？
• RQ2 合成スプーフ画像を用いたユーザ中心のトレーニングが、顔生体検証モデルの性能に与える影響は何か？
• RQ3 異なるCNNアーキテクチャ（Spoof-ModNet 対 MobileNetV2）は、被験者固有の生体検証の精度と耐性にどのような影響を与えるか？
• RQ4 実際のスプーフデータが限られている状況でも、本手法は被験者間で一般化できるか？
• RQ5 スタイル変換に基づくデータ拡張は、ユーザ中心の顔生体検証において、ランダム分類を上回る性能を発揮できるか？

主な発見

• 提案されたSpoof-ModNetは、SiWデータベース上で平均分類誤差率（ACER）0.22を達成し、ACERが0.26であったMobileNetV2を上回った。
• Spoof-ModNetは75%の精度、44%のFAR、1%のFRR、78%のF1スコアを達成し、生体とスプーフ画像を効果的に区別できることを示した。
• 50%以上の被験者がSpoof-ModNetで70%以上の精度を達成した一方、MobileNetV2はより一貫性はあったが低めの性能を示し、50%の被験者が65.07%〜76.28%の精度を記録した。
• Spoof-ModNetの最小精度は34.69%、最大精度は99.49%であり、被騟能力に大きなばらつきがあるが、高い上位性能を示した。
• 最先端手法よりも高いACERを示しているものの、ランダム分類を著しく上回っており、個人別生体検証の実現可能性がある。
• 本手法は、ユーザ中心モデルをトレーニングする際、モデルの一般化性能を向上させるために、信頼性のあるスプーフ画像を生成できることを示している。