[論文レビュー] Reconstruct Face from Features Using GAN Generator as a Distribution Constraint

Xingbo Dong, Zhihui Miao+5 more|arXiv (Cornell University)|Jun 9, 2022

Face recognition and analysis被引用数 8

ひとこと要約

本論文は、事前学習済みのStyleGANジェネレータを分布制約として用いることで、深層特徴から高品質な顔画像を再構築する新規手法を提案する。問題を遺伝的アルゴリズム（GA）を用いた潜在ベクトル最適化として定式化し、LFWデータセットにおけるタイプI攻撃で0.1%のFAR（誤認可率）下で98.0%の攻撃成功率を達成した。これは、顔認識システムにおける顕著なプライバシーおよびセキュリティリスクを示している。

ABSTRACT

Face recognition based on the deep convolutional neural networks (CNN) shows superior accuracy performance attributed to the high discriminative features extracted. Yet, the security and privacy of the extracted features from deep learning models (deep features) have been often overlooked. This paper proposes the reconstruction of face images from deep features without accessing the CNN network configurations as a constrained optimization problem. Such optimization minimizes the distance between the features extracted from the original face image and the reconstructed face image. Instead of directly solving the optimization problem in the image space, we innovatively reformulate the problem by looking for a latent vector of a GAN generator, then use it to generate the face image. The GAN generator serves as a dual role in this novel framework, i.e., face distribution constraint of the optimization goal and a face generator. On top of the novel optimization task, we also propose an attack pipeline to impersonate the target user based on the generated face image. Our results show that the generated face images can achieve a state-of-the-art successful attack rate of 98.0\% on LFW under type-I attack @ FAR of 0.1\%. Our work sheds light on the biometric deployment to meet the privacy-preserving and security policies.

研究の動機と目的

• 顔認識システムにおける深層特徴の暴露に関連する深刻なセキュリティおよびプライバシーリスクに対処すること。
• 特徴抽出器の内部アーキテクチャにアクセスできないブラックボックス設定下で、高精細な顔画像を深層特徴から再構築すること。
• 既存の生体認証検出メカニズムを回避できる、実用的で汎用性の高い顔画像生成手法を開発すること。
• 再構築画像を用いたスプーフィング攻撃の実現可能性を実証し、顔認識システムへの侵害を可能にすること。
• GANジェネレータを暗黙の分布制約として用いることで、画像再構築の品質と現実性を向上させることの有効性を検討すること。

提案手法

• 元の画像と再構築画像間の特徴距離を最小化する制約付き最適化問題に、顔画像再構築を再定式化する。
• 潜在ベクトルを顔画像にマッピングする事前学習済みのStyleGANジェネレータを用い、学習済みの顔分布を構造的制約として活用する。
• 最適な潜在ベクトルを探索する最適化タスクを、ターゲットの特徴と一致する深層特徴を持つ顔画像を生成する潜在空間内の最適なベクトル探索問題として定式化する。
• 遺伝的アルゴリズム（GA）を用いて潜在空間を効率的に探索し、適応度関数として再構築画像と元画像の特徴抽出結果のL2距離を定義する。
• 特徴抽出器をブラックボックスとして扱い、無制限のクエリアクセスを許可して最適化プロセスのための訓練データを生成する。
• 再構築画像をLFWおよびcolorFERETデータセットの顔認識システムを標的とした完全なスプーフィング攻撃パイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 内部アーキテクチャにアクセスできない状況下で、深層特徴のみから高品質な顔画像を再構築することは可能か？
• RQ2 GANジェネレータは、画像再構築プロセスの制約として効果的な分布事前分布として機能するか、その程度はいかほどか？
• RQ3 提案手法は、顔認識システムにおいて本物のユーザーを効果的にスプーフィングする画像を生成するのにどの程度有効か？
• RQ4 再構築画像は、商業用市販品（COTS）の生体認証検出システムをどの程度効果的に回避できるか？
• RQ5 遺伝的アルゴリズムの主要なハイパーパrameter（集団サイズ、交差率、突然変異率）は、再構築品質と効率にどのように影響を与えるか？

主な発見

• 提案手法は、LFWデータセットにおけるタイプI攻撃で、FAR（誤認可率）0.1%の条件下で、最先端の98.0%の攻撃成功率を達成した。
• colorFERETデータセットでも、同じ条件下で96.7%の攻撃成功率を達成し、異なるデータセット間での優れた一般化性能を示した。
• 商業用市販品（COTS）の生体認証検出APIでは、生成された顔画像の88.6%（COTS 2では62%、COTS 3では98%）が正常通過した。これは、現在の商業的生体認証検出システムに顕著な脆弱性があることを示している。
• アブレーションスタディの結果、集団サイズ256、交差率0.2、突然変異率0.1が、MSEと計算効率の両面で最適なパラメータであることが判明した。
• 失敗事例では、StyleGANモデルのトレーニングデータに偏りがあるため、再構築画像がしばしば乳児や女性の顔に偏って進化するジェネレータバイアスが顕在した。
• GANジェネレータを分布制約として用いることで、従来のデコンボリューションネットワークや直接的インバージョンに基づく手法と比較して、顔画像の品質と現実性が著しく向上した。