[論文レビュー] MIPGAN -- Generating Robust and High QualityMorph Attacks Using Identity Prior Driven GAN

Haoyu Zhang, Sushma Venkatesh+4 more|arXiv (Cornell University)|Sep 3, 2020

Face recognition and analysis参考文献 48被引用数 8

ひとこと要約

MIPGANは、顔認識システム（FRS）を回避するための高品質で頑丈な顔のモーフィングを生成する、アイデンティティプライアドリーブン GAN フレームワークを導入する。StyleGANに基づくアーキテクチャに、知覚的損失とアイデンティティに配慮した損失を統合することで、最小限のアーティファクトと高解像度を実現したモーフィング顔を生成し、デジタル、印刷、圧縮画像の種類にかかわらず、商用 FRS に対して高い成功率を達成する。

ABSTRACT

Face morphing attacks target to circumvent Face Recognition Systems (FRS) by employing face images derived from multiple data subjects (e.g., accomplices and malicious actors). Morphed images can verify against contributing data subjects with a reasonable success rate, given they have a high degree of identity resemblance. The success of the morphing attacks is directly dependent on the quality of the generated morph images. We present a new approach for generating robust attacks extending our earlier framework for generating face morphs. We present a new approach using an Identity Prior Driven Generative Adversarial Network, which we refer to as extit{MIPGAN (Morphing through Identity Prior driven GAN)}. The proposed MIPGAN is derived from the StyleGAN with a newly formulated loss function exploiting perceptual quality and identity factor to generate a high quality morphed face image with minimal artifacts and with higher resolution. We demonstrate the proposed approach's applicability to generate robust morph attacks by evaluating it against a commercial Face Recognition System (FRS) and demonstrate the success rate of attacks. Extensive experiments are carried out to assess the FRS's vulnerability against the proposed morphed face generation technique on three types of data such as digital images, re-digitized (printed and scanned) images, and compressed images after re-digitization from newly generated extit{MIPGAN Face Morph Dataset}. The obtained results demonstrate that the proposed approach of morph generation profoundly threatens the FRS.

研究の動機と目的

• 顔認識システム（FRS）を効果的に回避できる、高品質でアーティファクトが最小限の顔のモーフィングに対する重要なニーズに対処すること。
• デジタル、再デジタル化（印刷／スキャン）および圧縮画像を含む、さまざまな画像品質状態においても、モーフィング攻撃の頑丈さを向上させること。
• 生成された顔の画像において、外見的質と解像度を保ちつつ、アイデンティティの類似性を維持する生成モデルを開発すること。
• 新たに作成された MIPGAN 顔モーフィングデータセットを用いて、商用 FRS に対する高度なモーフィング攻撃の脆弱性を評価すること。
• 実世界の FRS パイプライン上で体系的な評価を通じて、モーフィング攻撃の実用的脅威を示すこと。

提案手法

• MIPGAN は、高解像度画像生成能力を活かすために、StyleGAN アーキテクチャに基づいている。
• 顔のアイデンティティを保持し、アーティファクトを低減するために、知覚損失とアイデンティティ要因損失を組み合わせた新しい損失関数が導入されている。
• 生成されたモーフィング顔の潜在空間を、実際の顔画像から得たアイデンティティ埋め込みと一致させることで、アイデンティティプライアを強制している。
• 両方の被験者に類似性を保ちながら、顔のペアの多様なデータセット上でエンドツーエンドに訓練することで、モーフィング画像を生成している。
• 訓練プロセスは、視覚的忠実度とアイデンティティの一貫性の両方を最適化しており、モーフィングが現実的かつ FRS をだませる効果的であることを保証している。
• 得られた MIPGAN 顔モーフィングデータセットは、さまざまな画像品質状態における攻撃成功率の評価に使用されている。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティプライアを組み込んだ GAN ベースのアプローチは、視覚的に現実的で、商用 FRS を効果的に回避できるモーフィング顔を生成できるか？
• RQ2 提案された MIPGAN フレームワークは、デジタル、再デジタル化、圧縮画像を含む、さまざまな画像品質レベルでどのように性能を発揮するか？
• RQ3 知覚的損失とアイデンティティに配慮した損失を統合することで、従来の手法と比較して、生成されたモーフィング顔の質と頑丈さがどの程度向上するか？
• RQ4 MIPGAN が生成したモーフィング顔が、実際の展開状況下での商用 FRS に対してテストされた場合の成功率はどの程度か？
• RQ5 MIPGAN が生成したモーフィング顔データセットは、既存のベンチマークと比較して、モーフィング攻撃の有効性と多様性の面でどのように異なるか？

主な発見

• MIPGAN は、顔のモーフィング顔画像を高解像度で生成し、視覚的アーティファクトを最小限に抑え、従来のモーフィング技術を著しく上回った。
• 提案手法は、商用 FRS を効果的に回避するという点で、アイデンティティプライアドリーブン生成の有効性を示した。
• 再デジタル化や圧縮画像を含む、すべてのテスト画像タイプにおいても攻撃成功率が高く維持されており、品質劣化に対して頑丈であることが示された。
• 知覚的損失とアイデンティティに配慮した損失の統合により、生成されたモーフィング顔は視覚的に説得力があり、関係する被験者と意味的に整合している。
• MIPGAN 顔モーフィングデータセットにより、FRS の脆弱性を体系的に評価でき、実世界の展開状況において顕著な欠陥が明らかになった。
• 結果から、高度な GAN ベースのモーフィング技術が、現在の顔認識システムのセキュリティに対して深刻な脅威をもたらすことが確認された。