[論文レビュー] Generation of Non-Deterministic Synthetic Face Datasets Guided by Identity Priors

Marcel Grimmer, Haoyu Zhang+3 more|arXiv (Cornell University)|Dec 7, 2021

Face recognition and analysis被引用数 4

ひとこと要約

本論文は、StyleGANにおけるPCA誘導型潜在空間操作を用いて、非決定的かつ非定性的な方法で合成されたペア顔画像を生成する手法を提案する。顔認識モデルを事前学習して用いることで、動的なアイデンティティ保持を実現する。本手法により、77,034枚の画像、25,919人のIDを含むSymFaceデータセットが構築された。合成されたペア画像は、実際のバイオメトリクスデータと同等の、真偽スコア分布が明確に分離された結果を示し、プライバシーとバイアスの問題を回避しつつ、バイオメトリクス性能評価に有効であることが示された。

ABSTRACT

Enabling highly secure applications (such as border crossing) with face recognition requires extensive biometric performance tests through large scale data. However, using real face images raises concerns about privacy as the laws do not allow the images to be used for other purposes than originally intended. Using representative and subsets of face data can also lead to unwanted demographic biases and cause an imbalance in datasets. One possible solution to overcome these issues is to replace real face images with synthetically generated samples. While generating synthetic images has benefited from recent advancements in computer vision, generating multiple samples of the same synthetic identity resembling real-world variations is still unaddressed, i.e., mated samples. This work proposes a non-deterministic method for generating mated face images by exploiting the well-structured latent space of StyleGAN. Mated samples are generated by manipulating latent vectors, and more precisely, we exploit Principal Component Analysis (PCA) to define semantically meaningful directions in the latent space and control the similarity between the original and the mated samples using a pre-trained face recognition system. We create a new dataset of synthetic face images (SymFace) consisting of 77,034 samples including 25,919 synthetic IDs. Through our analysis using well-established face image quality metrics, we demonstrate the differences in the biometric quality of synthetic samples mimicking characteristics of real biometric data. The analysis and results thereof indicate the use of synthetic samples created using the proposed approach as a viable alternative to replacing real biometric data.

研究の動機と目的

• 実際のバイオメトリクスデータセットが顔認識のテストに使われる際のプライバシーおよび文化的バイアスの懸念に対処すること。
• ポーズ、表情、照明の変化など、実世界のバイオメトリクスデータに見られる同一アイデンティティ内での変動を再現する合成顔画像を生成すること。
• 潜在空間における非決定的サンプリングにもかかわらず、合成画像生成中にアイデンティティの保持を確保すること。
• バイオメトリクス性能評価に適した大規模かつプライバシー準拠の合成データセットを構築すること。

提案手法

• 512次元の潜在ベクトルで表される合成顔画像を生成する、事前学習済みのStyleGANジェネレータを用いる。
• 50,000枚の生成画像の潜在空間に対して主成分分析（PCA）を適用し、編集に適した意味的意味を持つ方向を同定する。
• 上位の主成分に沿って潜在ベクトルを摂動させることで、顔の属性に現実的な変化を加えたペア画像を生成する。
• 事前学習済みの顔認識モデル（FR）を用いて、元画像と編集画像の類似度を動的に監視・制御し、アイデンティティの保持を実現する。
• FRシステムが元画像と生成画像間のコサイン類似度を評価し、摂動の大きさをガイドするフィードバックループを構築する。
• ヨー、照明、笑顔の変化を含む、25,919人の合成アイデンティティを有する77,034枚の画像を含むSymFaceデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 StyleGANにおける潜在空間操作を用いて、非決定的サンプリングであってもアイデンティティの正確性を維持した、ペア顔画像の非決定的生成は可能か？
• RQ2 潜在空間におけるPCAによって導かれる方向は、実際のバイオメトリクスデータに類似した意味的意味のある顔貌の変化をどれほど正確に生成できるか？
• RQ3 本手法で生成された合成ペア画像のバイオメトリクス比較スコア分布は、FRGC v2.0などの実際の本物データセットと比較してどの程度類似しているか？
• RQ4 合成ペア画像は、性能評価に適した、真偽スコアが明確に分離された分布を生成できるか？
• RQ5 合成画像の顔品質指標は、実世界のベンチマークと比較してどの程度の水準にあるか？

主な発見

• PCA-FR誘導型サンプリング手法により、ペア間スコア分布が非ペアスコアと明確に分離され、カーネル密度曲線からも明確な差が確認された。
• 本手法のペアスコア分布とFRGC v2.0との間のカルバック・ライブラー距離（Kullback-Leibler divergence）は0.42であり、真偽スコアパターンの類似度は中程度ながらも許容可能な水準であることが示された。
• 笑顔を編集したサンプルについて、合成データセットとFRGC v2.0との間のKL距離は0.17であった。これは、この属性におけるクラス内変動の強力な一致を示している。
• 顔品質評価指標（SER-FIQおよびFaceQnet v1）の結果、合成画像の品質分布は実データと同等の水準であり、PCA-FRのSER-FIQスコアは1.17、照明編集では1.19であった。
• すべての合成データセットにおける非ペア比較スコア分布は、FMR=0.1%の閾値を著しく下回っており、偽の一致リスクが低く、類似顔の生成が最小限に抑えられていることが示された。
• ヨー角の編集では、すべての属性の中で最も広いスコア範囲を示し、ポーズ関連の編集に高いばらつきがあることが示された。