[論文レビュー] Style Your Face Morph and Improve Your Face Morphing Attack Detector

Clemens Seibold, Anna Hilsmann+1 more|arXiv (Cornell University)|Apr 23, 2020

Face recognition and analysis参考文献 16被引用数 14

ひとこと要約

本論文では、顔のモーフィング作成時に生じるブレンド由来の画像劣化を逆転させることで、顔モーフの視覚的品質を向上させる深層ニューラルネットワークベースのスタイル転送手法を提案する。改善されたモーフは、複数の最先端の顔モーフィング攻撃検出（MAD）システムにおいて検出率を顕著に低下させるが、これらの改善済みモーフを用いて訓練することで、提案手法に加え、ヒストограм等化やシャープニングなどの他の画像品質向上技術に対しても、検出システムの耐性が向上する。

ABSTRACT

A morphed face image is a synthetically created image that looks so similar to the faces of two subjects that both can use it for verification against a biometric verification system. It can be easily created by aligning and blending face images of the two subjects. In this paper, we propose a style transfer based method that improves the quality of morphed face images. It counters the image degeneration during the creation of morphed face images caused by blending. We analyze different state of the art face morphing attack detection systems regarding their performance against our improved morphed face images and other methods that improve the image quality. All detection systems perform significantly worse, when first confronted with our improved morphed face images. Most of them can be enhanced by adding our quality improved morphs to the training data, which further improves the robustness against other means of quality improvement.

研究の動機と目的

• ブレンド由来の劣化を是正する画像品質向上技術が、顔モーフィング攻撃検出（MAD）システムに与える脆弱性を是正すること。
• スタイル転送によるモーフド顔画像の品質向上が、既存のMADシステムを回避可能かどうかを調査すること。
• これらの改善済みモーフを訓練データに組み込むことで、他の画像品質向上技術（例：ヒストограм等化、シャープニング）に対する一般化性能と耐性が向上するかどうかを評価すること。
• 微細な画像品質向上でさえもMADシステムの性能を顕著に低下させることを実証し、耐性のある訓練データ拡張の必要性を強調すること。

提案手法

• 2つの元画像の平均スタイルをターゲットスタイルとして用い、モーフド顔画像にニューラルスタイル転送を適用する。
• モーフ構造の保持（コンテンツ損失）と入力顔の平均スタイルとの一致（スタイル損失）を最小化するように、深層ニューラルネットワークを訓練する。
• 事前学習済みのCNN（例：VGG）の特徴マップのグラム行列を用いて、複数の層におけるスタイル表現を定義する。
• コンテンツ損失およびスタイル損失の勾配を用いてバックプロパゲーションにより最適化し、高品質なモーフを生成する。
• 訓練済みモデルを用いて、標準的なブレンドモーフから改善済みモーフを生成し、テクスチャの詳細を強化し、退色を軽減する。
• 改善済みモーフをさまざまなMADシステムの訓練データに統合し、一般化性能および耐性への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 最先端のMADシステムは、標準的なモーフと比較して、スタイル転送で向上したモーフド顔画像に対してどの程度検出性能を失うか？
• RQ2 MADシステムをスタイル転送で向上したモーフで訓練することで、ヒストограм等化やシャープニングなどの他の画像品質向上技術に対しても耐性が向上するか？
• RQ3 MADシステムの性能指標（APCER、BPCER）は、元のモーフと比較して、改善済みモーフでテストした際にどのように変化するか？
• RQ4 訓練データに改善済みモーフを組み込むことで、複数の画像品質向上手法に対し一般化性能が向上するか？
• RQ5 ハンドクラフト特徴（例：LBP、BSIF）を用いるMADシステムと深層ニューラルネットワークベースのMADシステムは、同じ向上技術に対してどのように反応するか？

主な発見

• 評価されたすべてのMADシステム、特に深層ニューラルネットワークベースの検出器において、スタイル転送で向上したモーフでテストした際の検出性能が顕著に低下し、DNNネイティブモデルではAPCERが1.5％から29.9％に上昇した。
• MADシステムをスタイル転送で向上したモーフで訓練することで、同様の向上手法およびヒストограм等化やシャープニングなどの他の品質向上技術に対しても、検出率が顕著に向上した。
• 特に向上に脆弱だったDNNベースの検出器は、改善済みモーフで再訓練したことで耐性が著しく向上し、組み合わせ攻撃において5％のAPCERでBPCERが3.3％にまで低下した。
• 改善済みモーフのバイオメトリクス的品質は高く維持されており、rMAR1000が93.2％、rMAR10000が87.0％を示しており、モーフィング状況下でのリアルな外観と受容率が強い。
• 画像強化による性能低下は特定の手法に限定されない。ヒストограм等化やシャープニングも、特にDNNベースのシステムに対して顕著に検出率を低下させた。
• 提案手法はブレンド由来の画像劣化を効果的に是正し、しわや毛穴のような高周波数の詳細を回復させ、テクスチャ解析に依存する検出システムにとって重要な要素を回復させた。