[論文レビュー] MorphGANFormer: Transformer-based Face Morphing and De-Morphing

Na Zhang, Xudong Liu+2 more|arXiv (Cornell University)|Feb 18, 2023

Face recognition and analysis被引用数 10

ひとこと要約

構成的潜在空間を備えたトランスフォーマー-based MorphGANFormer は高品質な顔のモーフィングと潜在空間でのデモルフィングを実現し、GANベースの手法と比較して視覚的リアリズムの向上と脆弱性–検出可能性のトレードオフが定義されていることを示す。

ABSTRACT

Semantic face image manipulation has received increasing attention in recent years. StyleGAN-based approaches to face morphing are among the leading techniques; however, they often suffer from noticeable blurring and artifacts as a result of the uniform attention in the latent feature space. In this paper, we propose to develop a transformer-based alternative to face morphing and demonstrate its superiority to StyleGAN-based methods. Our contributions are threefold. First, inspired by GANformer, we introduce a bipartite structure to exploit long-range interactions in face images for iterative propagation of information from latent variables to salient facial features. Special loss functions are designed to support the optimization of face morphing. Second, we extend the study of transformer-based face morphing to demorphing by presenting an effective defense strategy with access to a reference image using the same generator of MorphGANFormer. Such demorphing is conceptually similar to unmixing of hyperspectral images but operates in the latent (instead of pixel) space. Third, for the first time, we address a fundamental issue of vulnerability-detectability trade-off for face morphing studies. It is argued that neither doppelganger norrandom pair selection is optimal, and a Lagrangian multiplier-based approach should be used to achieve an improved trade-off between recognition vulnerability and attack detectability.

研究の動機と目的

• StyleGANベースの顔モーフィングに対するトランスフォーマー-based の代替案を動機づけ、アーティファクトを低減し局所的な制御を細かく可能にする。
• (region-specific morphing control) のための16個の local-style コンポーネントと1個の global-style コンポーネントからなる構成的潜在空間を導入する。
• 潜在コードと画像特徴量間の情報を伝える双方向 MorphGANFormer ジェネレーターを bipartite transformer attention を用いて構築する。
• 現実味と攻撃成功をバランスさせるための顔モーフィング専用の損失関数（生体認証、ランドマークベース、知覚、MSE）を設計する。
• 同じジェネレーターを用いて demorphing を実施し、潜在空間の demorphing と脆弱性–検出可能性のトレードオフを解析する。

提案手法

• 潜在コンポーネントと画像特徴量間の長距離・線形スケーリング相互作用を可能にする bipartite transformer attention を備えたGANformer-ベースのジェネレーターを使用する。
• 16個の local-style コンポーネントと1個の global-style コンポーネントからなる構成的潜在コードを採用し、異なる顔領域を調整する。
• 1024x1024 画像を生成するために9つの synthesis ブロックを積み重ね、simplex および duplex attention で潜在情報を画像グリッドへ伝搬する。
• ランドマークの Wing loss、HOG ベースのコサイン距離による生体認証損失、VGG-16 特徴量による perceptual 損失、ピクセル単位の MSE を組み合わせた損失で潜在コードを最適化する。
• モーフィングは潜在コードの補間によって行い、デモーフィングは信頼できるライブキャプチャを参照として潜在空間内で実施する。
• MorphGANFormer の攻撃に対する脆弱性–検出可能性のトレードオフを調べるためのラグランジュ乗数風アプローチを導入する。

実験結果

リサーチクエスチョン

• RQ1 StyleGAN ベースの方法と比較してトランスフォーマー系アーキテクチャは顔モーフィングの品質とリアリズムをどう改善できるか？
• RQ2 構成的で領域認識的な潜在空間はモーフィングにおいてより細かな制御とアーティファクト低減を提供できるか？
• RQ3 同じジェネレーターと参照としてのライブキャプチャを用いて潜在空間でのデモルフィングが実現可能か？
• RQ4 モーフィング攻撃の脆弱性–検出可能性のトレードオフはどうなっており、最適化のために画像ペアをどう選ぶべきか？
• RQ5 MorphGANFormer の攻撃は検出と生体認証保持の点で既存のモーフィング攻撃と比べてどうか？

主な発見

Dataset	Morph Type	ArcFace	FaceNet	LBP
Doppelgänger	OpenCV [2]	94.73	82.23	87.50
Doppelgänger	FaceMorpher [3]	81.21	73.83	87.92
Doppelgänger	StyleGAN2 [7]	84.21	70.65	85.52
Doppelgänger	MorphGANFormer	90.08	70.92	89.77
FRGC-morph	OpenCV [2]	87.75	74.51	94.61
FRGC-morph	FaceMorpher [3]	80.39	72.06	85.78
FRGC-morph	StyleGAN2 [7]	38.73	35.78	78.43
FRGC-morph	MorphGANFormer	48.04	42.65	84.80

• MorphGANFormer は 1024x1024 解像度の下で StyleGAN ベースの手法よりもアーティファクトが少ない高品質なモーフィングを達成する。
• 16 の local と 1 の global コンポーネントからなる構成的潜在空間は領域特異的な制御と潜在コードと画像特徴量間の双方向情報フローを可能にする。
• 信頼できるライブキャプチャを参照として潜在空間でデモーフィングを行うことができ、第二の bona fide アイデンティティの復元を示す。
• MorphGANFormer の攻撃は一部のベースラインより競合的または高い MMPMR スコアを示し、認識脆弱性と攻撃検出可能性の間に意味のあるトレードオフを明らかにする。
• 脆弱性–検出可能性の分析は Doppelganger やランダムペア選択が最適ではないことを示し、ラグランジュ法アプローチがトレードオフを改善する。
• デモーフィング結果はデータセット全体で対応する bona fide アイデンティティに類似しており、モーフィング脅威への防御ポテンシャルを示す。