[論文レビュー] Synthetic Face Datasets Generation via Latent Space Exploration from Brownian Identity Diffusion

David Geissbühler, Hatef Otroshi Shahreza+1 more|arXiv (Cornell University)|Apr 30, 2024

Face recognition and analysis被引用数 4

ひとこと要約

本論文は、ランダム力の下での柔ららかく粒子的である潜在空間のサンプリングをブラウン運動としてモデル化することで、多様で高品質な合成顔データセットを生成する物理学にインspiredされた手法を提案する。3つのアルゴリズム（ランジュバン、分散、DisCo）を用い、30,000人のアイデンティティを有するAgeDBで平均88.40%の認識精度を達成し、顔認識分野で最先端の性能を発揮しながら、アイデンティティ漏洩を最小限に抑える。GANベースのデータセットを上回り、拡散ベースの手法と同等の性能を示す。

ABSTRACT

Face recognition models are trained on large-scale datasets, which have privacy and ethical concerns. Lately, the use of synthetic data to complement or replace genuine data for the training of face recognition models has been proposed. While promising results have been obtained, it still remains unclear if generative models can yield diverse enough data for such tasks. In this work, we introduce a new method, inspired by the physical motion of soft particles subjected to stochastic Brownian forces, allowing us to sample identities distributions in a latent space under various constraints. We introduce three complementary algorithms, called Langevin, Dispersion, and DisCo, aimed at generating large synthetic face datasets. With this in hands, we generate several face datasets and benchmark them by training face recognition models, showing that data generated with our method exceeds the performance of previously GAN-based datasets and achieves competitive performance with state-of-the-art diffusion-based synthetic datasets. While diffusion models are shown to memorize training data, we prevent leakage in our new synthetic datasets, paving the way for more responsible synthetic datasets.

研究の動機と目的

• 実世界の顔認識データセットにおけるプライバシーおよび倫理的懸念に対処するため、合成代替データセットを生成すること。
• トレーニングデータの記憶を最小限に抑えつつ、高い多様性と現実性を持つ合成顔データを生成する手法を開発すること。
• 物理学にインスパイドされた潜在空間ダイナミクスを用いて、合成アイデンティティのクラス間およびクラス内変動を正確に制御すること。
• 顔認識性能において、合成データセットを最先端の手法と比較してベンチマークすること。
• 責任あるで倫理的なデータ生成を確保するため、合成データにおけるアイデンティティ漏洩を低減すること。

提案手法

• 本手法は、反発力、ブラウン運動、および引力ポテンシャルを受ける柔ららかく球形の粒子として、合成アイデンティティを潜在空間にモデル化する。これはランジュバン方程式にインspiredされている。
• ランジュバンアルゴリズムは、合成アイデンティティ間の埋め込み距離を最小化することでクラス間分布を最適化し、潜在空間における分散を維持する。
• 分散アルゴリズムは、確率的力による潜在コードの摂動を用いてクラス内変動を生成し、アイデンティティを保持しながら多様性を導入する。
• DisCoアルゴリズムは、事前に計算された潜在方向を用いてクラス内変動を強化し、制御可能で高精細な画像生成を可能にする。
• データ漏洩を防ぐために、アイデンティティレベルの反発（L_E）、重み正則化（L_W）、本物-合成間の反発（L_E_tr）を組み合わせたハイブリッド損失関数を採用する。
• 本手法は、生成されたデータセット上で顔認識モデルをトレーニングし、標準ベンチマーク（LFW、CPLFW、AgeDBなど）での性能評価によって検証される。

実験結果

リサーチクエスチョン

• RQ1 物理学にインスパイドされた潜在空間ダイナミクスは、顔認識モデルのトレーニングに適した十分な多様性と現実性を持つ合成顔データセットを生成できるか？
• RQ2 本手法は、GANベースおよび拡散ベースの合成データセットと比較して、顔認識精度およびアイデンティティ漏洩の観点でどのように異なるか？
• RQ3 ランジュバン、分散、DisCoアルゴリズムが、合成顔データにおけるクラス間およびクラス内変動をどの程度制御できるか？
• RQ4 本物-合成埋め込み反発項（dE_tr）を導入することで、生成されたデータセットにおけるアイデンティティ漏洩が実際に低減されるか？
• RQ5 顔認識性能を最適化するために、合成データで最適なスケール（アイデンティティ数および変異数）は何か？

主な発見

• DisCoアルゴリズムを用い、30,000人のアイデンティティと1人あたり64の変異を用いることで、AgeDBベンチマークで平均88.40%の顔認識精度を達成し、最先端の拡散ベース手法に近い性能を発揮した。
• 以前に提案されたGANベースの合成データセットを上回り、一般化性能および多様性の面で優れた性能を示した。
• 本物-合成埋め込み反発距離（dE_tr）を0から1.3に増加させたことで、顔認識精度がわずかに向上し、一般化性能の向上が示唆された。
• 驚くべきことに、変異数を64から128に増加させたところ、性能が著しく低下した（例：平均精度が69.32%に低下）。これは過学習または品質の劣化を示唆している。
• 本物と最も類似した合成画像ペアの視覚的検査では、本手法ではアイデンティティ漏洩が最小限に抑えられていたが、DCFaceと比較してトレーニングサンプルの強い記憶が見られた。
• リファレンスアンサンブルを用いたデータセットのコンパウンドは、わずかな性能向上しかもたらさず、コアアルゴリズムがすでに十分にスケーラブルであることを示唆している。