[論文レビュー] Evolutionary latent space search for driving human portrait generation

Benjamín Machín, Sergio Nesmachnow+1 more|arXiv (Cornell University)|Apr 25, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、ターゲットとなる顔画像に極めて類似した合成顔画像を生成するため、StyleGAN2の潜在空間を探索するための進化的アルゴリズムを提案する。FaceNetを用いた類似度評価と、進化的探索による潜在ベクトル最適化により、顔認識システムをだますことができる多様で現実的な顔画像を生成し、実際の同一人物の画像と比較してFaceNet埋め込み距離を最大27.9%まで低減した。

ABSTRACT

This article presents an evolutionary approach for synthetic human portraits generation based on the latent space exploration of a generative adversarial network. The idea is to produce different human face images very similar to a given target portrait. The approach applies StyleGAN2 for portrait generation and FaceNet for face similarity evaluation. The evolutionary search is based on exploring the real-coded latent space of StyleGAN2. The main results over both synthetic and real images indicate that the proposed approach generates accurate and diverse solutions, which represent realistic human portraits. The proposed research can contribute to improving the security of face recognition systems.

研究の動機と目的

• 与えられたターゲット顔と視覚的・意味的に類似した合成顔画像を効率的に生成するための手法を開発すること。
• 進化的アルゴリズムを用いてStyleGAN2の高次元潜在空間を探索し、望ましい顔貌的特徴を生成するベクトルを同定すること。
• 生成された顔画像とターゲット顔画像の間のFaceNet埋め込み距離を最小化することで、顔認識システムをだます能力を評価すること。
• 複数のターゲット画像および条件下での生成ポートレートの多様性と品質を評価すること。
• 提案手法の計算コストとスケーラビリティを分析すること。

提案手法

• 事前学習済みのStyleGAN2ジェネレータの実数値潜在空間を探索するために、進化的アルゴリズム（EA）を用いる。
• 生成画像とターゲットポートレートの類似度を評価するために、深層特徴埋め込み間のL2距離を計算するFaceNetをフィットネス関数として採用する。
• 選択、交差、突然変異の演算子を用いて、ターゲット埋め込みとのL2距離を最小化する方向へ潜在ベクトルを進化的に進化させる。
• ターゲット埋め込みの事前計算や、計算オーバーヘッドを低減するための効率的な評価パイプラインを用いる最適化を実施する。
• 512次元などの高次元潜在空間上で、多様性を保証するための集団ベースの探索を実施する。
• 再訓練を回避するため、事前学習済みモデル（StyleGAN2およびFaceNet）を活用することで、最小限の計算コストで高速な生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、StyleGAN2の潜在空間を効果的に探索し、ターゲット顔と視覚的・意味的に類似した合成顔画像を生成できるか？
• RQ2 生成されたポートレートは、FaceNetのような事前学習済み顔認識モデルをどれほどだませるか？（埋め込み類似度で測定）
• RQ3 複数回の実行および複数のターゲット画像に対して、生成されたポートレートの多様性はどの程度で、解の多様性に耐性があるか？
• RQ4 本手法の計算コストはどの程度で、異なるターゲット画像やハードウェア構成に対してどのようにスケーリングするか？
• RQ5 同一人物の複数の明確に異なるが正確なポートレートを生成できるか？（忠実度と多様性の両立を示す）

主な発見

• 提案手法は、ターゲット顔と視覚的に類似した合成顔画像を効果的に生成した。FaceNet埋め込み間のL2距離は、同一人物の別の実画像と比較して最大27.9%まで低減された。
• 全テスト例（G2, W2, W3）において、生成画像のターゲットとのL2距離は、ベースライン（同一人物の別の実画像）よりも小さく、顔認識システムをだます能力が裏付けられた。
• 高い解の多様性を達成しており、10個の生成解同士の埋め込み間のL2距離は0.314から0.865の範囲に分布し、多様でありながら妥当な出力を示した。
• 各インスタンスの平均多様性は、G2で0.491 ± 0.060、W2で0.645 ± 0.099、W3で0.544 ± 0.070であり、一貫した多様なポートレート生成のロバストネスを示した。
• Google Colab上では15分未満で正確な結果が得られ、事前学習済みモデルと効率的な評価パイプラインの活用により、計算コストが低く抑えられた。
• 結果から、StyleGAN2の潜在空間における進化的探索が、悪意ある目的に適した現実的で多様かつターゲットに類似した人間のポートレートを効果的に生成できることを確認した。