[論文レビュー] MIPGAN -- Generating Strong and High Quality Morphing Attacks Using Identity Prior Driven GAN

Haoyu Zhang, Sushma Venkatesh+4 more|arXiv (Cornell University)|Sep 3, 2020

Face recognition and analysis被引用数 9

ひとこと要約

本稿では、顔認識システムの回避に成功する高品質でアイデンティティを保持する顔モーフィング攻撃を生成する、GANベースの新規フレームワークMIPGANを提案する。アイデンティティプライアド損失を用いることで、知覚的リアリズムと攻撃強度を向上させた。本手法は、商業的およびディープラーニングベースの顔認識システムを効果的に回避する高い成功率を達成し、現在のバイオメトリクスセキュリティプロトコルに対する顕著な脅威を示している。

ABSTRACT

Face morphing attacks target to circumvent Face Recognition Systems (FRS) by employing face images derived from multiple data subjects (e.g., accomplices and malicious actors). Morphed images can be verified against contributing data subjects with a reasonable success rate, given they have a high degree of facial resemblance. The success of morphing attacks is directly dependent on the quality of the generated morph images. We present a new approach for generating strong attacks extending our earlier framework for generating face morphs. We present a new approach using an Identity Prior Driven Generative Adversarial Network, which we refer to as MIPGAN (Morphing through Identity Prior driven GAN). The proposed MIPGAN is derived from the StyleGAN with a newly formulated loss function exploiting perceptual quality and identity factor to generate a high quality morphed facial image with minimal artefacts and with high resolution. We demonstrate the proposed approach's applicability to generate strong morphing attacks by evaluating its vulnerability against both commercial and deep learning based Face Recognition System (FRS) and demonstrate the success rate of attacks. Extensive experiments are carried out to assess the FRS's vulnerability against the proposed morphed face generation technique on three types of data such as digital images, re-digitized (printed and scanned) images, and compressed images after re-digitization from newly generated MIPGAN Face Morph Dataset. The obtained results demonstrate that the proposed approach of morph generation poses a high threat to FRS.

研究の動機と目的

• 既存のモーフィング攻撃が低品質またはアーチファクトを伴う画像を生成するという限界を是正し、顔認識システム（FRS）を回避する効果性を低下させることを目的とする。
• 顔のアイデンティティ要因を保持しながら、最小限のアーチファクトと高解像度でリアルなモーフィング顔を生成できるGANベースのアプローチを開発することを目的とする。
• 複数の画像タイプ（デジタル、再デジタル化、圧縮）における、商業的およびディープラーニングベースのFRSに対する生成されたモーフィング攻撃の脆弱性を評価することを目的とする。
• 今後のモーフィング攻撃検出（MAD）研究を支援するため、新たな大規模な顔モーフィングデータセット（30,000枚のモーフィング画像）を構築することを目的とする。
• 最先端のMADメカニズムを用いて、MIPGANが生成したモーフィング画像の一般化能力および検出可能性を評価することを目的とする。

提案手法

• 高解像度画像合成能力を活かし、バックボーン生成器としてStyleGANを採用する。
• 知覚損失とアイデンティティ要因損失を組み合わせた新しい損失関数を導入し、顔のアイデンティティを保持するとともに視覚的品質を向上させる。
• 事前学習済み顔埋め込みモデル（例：ArcFace）から得られるアイデンティティプライアを用いて、生成器がモーフィング顔全体でアイデンティティの一貫性を保つように誘導する。
• 実画像と生成画像を区別するように訓練されたディスクライマを用い、リアリズムを強化し、アーチファクトを最小限に抑える。
• 2段階の訓練戦略を採用：まずアイデンティティ損失および知覚損失で生成器を事前訓練し、その後ディスクライマを用いた敵対的訓練を実施する。
• アイデンティティプライアに従う潜在空間内挿值を用いて、2つ以上の元画像顔をブレンドすることでモーフィング画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、視覚的にリアルで、現代の顔認識システムを回避可能なモーフィング顔を生成できるか？
• RQ2 損失関数にアイデンティティプライアを組み込むことで、生成画像の知覚的品質およびアイデンティティ保持性にどのような影響を与えるか？
• RQ3 MIPGANが生成したモーフィング画像は、商業的およびディープラーニングベースのFRSにおいて、参加者の本人確認を通過する成功率はどの程度か？
• RQ4 既存の最先端のモーフィング攻撃検出（MAD）メカニズムを用いて、MIPGANが生成したモーフィング画像はどの程度検出可能か？
• RQ5 印刷・スキャンや圧縮などの画像劣化が、MIPGANが生成したモーフィング画像の検出可能性および成功率にどのように影響するか？

主な発見

• MIPGANが生成したモーフィング画像は、商業的およびディープラーニングベースの顔認識システムを高い成功率で回避した。これは、強力な攻撃潜在能力を示している。
• 特に現実世界の画像劣化条件下において、従来のランドマークベースのモーフィング技術に比べ、視覚的品質および攻撃成功率の両面で顕著に優れていた。
• MIPGAN-IおよびMIPGAN-IIのバリエーションは、最小限のアーチファクトと高い知覚的品質を持つモーフィング画像を生成した。これは自動評価指標および人間評価によって確認された。
• MIPGANが生成したモーフィング画像は、類似データで訓練された最先端のMADメカニズムでは高い検出性を示したが、未学習のモーフィング手法に対しては強力な一般化能力と回避能力を示した。
• 特に印刷・スキャンおよび圧縮画像シナリオにおいて、MADメカニズムの検出性能が顕著に低下した。これは、MIPGANの合成ノイズが現実世界の劣化を効果的に模倣していることを示唆している。
• MIPGANが生成したデータでMADモデルを学習させた場合、デジタルモーフィング画像よりも印刷・スキャンおよび圧縮モーフィング画像の検出精度が高くなった。これは、MIPGANの出力が現実世界の劣化パターンを効果的に模倣していることを示している。