[논문 리뷰] Synthetic Face Datasets Generation via Latent Space Exploration from Brownian Identity Diffusion

David Geissbühler, Hatef Otroshi Shahreza외 1명|arXiv (Cornell University)|2024. 04. 30.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 잠재 공간 샘플링을 확률적 힘 작용을 받는 연성 입자의 브라운 운동으로 모델링함으로써 다양하고 고품질의 합성 얼굴 데이터셋을 생성하기 위한 물리학에 영감을 받은 방법을 제안한다. 랑주반, 디스퍼전, 디스코의 세 가지 알고리즘을 사용하여, 30,000개의 신원을 가진 AgeDB에서 평균 정확도 88.40%의 최신 기술 수준 성능을 달성하면서도 신원 泄露를 최소화하였으며, GAN 기반 데이터셋을 능가하고 확산 기반 방법과 맞먹는 성능을 보였다.

ABSTRACT

Face recognition models are trained on large-scale datasets, which have privacy and ethical concerns. Lately, the use of synthetic data to complement or replace genuine data for the training of face recognition models has been proposed. While promising results have been obtained, it still remains unclear if generative models can yield diverse enough data for such tasks. In this work, we introduce a new method, inspired by the physical motion of soft particles subjected to stochastic Brownian forces, allowing us to sample identities distributions in a latent space under various constraints. We introduce three complementary algorithms, called Langevin, Dispersion, and DisCo, aimed at generating large synthetic face datasets. With this in hands, we generate several face datasets and benchmark them by training face recognition models, showing that data generated with our method exceeds the performance of previously GAN-based datasets and achieves competitive performance with state-of-the-art diffusion-based synthetic datasets. While diffusion models are shown to memorize training data, we prevent leakage in our new synthetic datasets, paving the way for more responsible synthetic datasets.

연구 동기 및 목표

• 실생활 얼굴 인식 데이터셋의 개인정보 및 윤리적 우려를 해결하기 위해 합성 대체 데이터셋을 생성하기 위해.
• 학습 데이터의 기억 현상 최소화를 보장하면서도 높은 다양성과 현실성 확보를 위한 방법 개발을 위해.
• 물리학에 기반한 잠재 공간 역학을 통해 합성 신원의 클래스 간 및 클래스 내 변동성에 정밀한 제어를 가능하게 하기 위해.
• 합성 데이터셋의 얼굴 인식 성능을 최신 기술 수준의 방법들과 비교 평가하기 위해.
• 합성 데이터의 신원 泄露를 최소화하여 책임감 있고 윤리적인 데이터 생성을 보장하기 위해.

제안 방법

• 이 방법은 합성 신원을 잠재 공간 내 반발력, 브라운 운동, 그리고 매력적 잠재력이 작용하는 연성 구형 입자로 모델링한다. 랑주반 방정정식에 영감을 받았다.
• 랑주반 알고리즘은 합성 신원 간 임베딩 거리의 최소화를 통해 클래스 간 분포를 최적화하면서도 잠재 공간 내에서 분산을 유지한다.
• 디스퍼전 알고리즘은 확률적 힘을 이용한 잠재 코드의 변형을 통해 클래스 내 변동성을 생성하며, 신원를 유지하면서 다양성을 도입한다.
• 디스코 알고리즘은 사전 계산된 잠재 방향을 사용하여 클래스 내 변동성을 향상시키며, 제어 가능하고 고해상도의 이미지 생성을 가능하게 한다.
• 데이터 泄露를 방지하기 위해 신원 수준의 반발력(L_E), 가중치 정규화(L_W), 진짜-합성 간 반발력(L_E_tr)을 조합한 하이브리드 손실 함수를 사용한다.
• 이 방법은 생성된 데이터셋으로 얼굴 인식 모델을 훈련하고 표준 벤치마크(LFW, CPLFW, AgeDB 등)에서 성능을 평가함으로써 검증된다.

실험 결과

연구 질문

• RQ1 물리학에 기반한 잠재 공간 역학은 얼굴 인식 모델 훈련에 적합한 충분한 다양성과 현실성을 가진 합성 얼굴 데이터셋을 생성할 수 있는가?
• RQ2 얼굴 인식 정확도 및 신원 泄露 측면에서 제안된 방법은 GAN 기반 및 확산 기반 합성 데이터셋과 비교해 어떻게 성능을 내는가?
• RQ3 랑주반, 디스퍼전, 디스코 알고리즘이 합성 얼굴 데이터의 클래스 간 및 클래스 내 변동성을 얼마나 정밀하게 제어할 수 있는가?
• RQ4 진짜-합성 임베딩 반발력 항목(dE_tr)을 도입함으로써 합성 데이터셋의 신원 泄루를 효과적으로 줄일 수 있는가?
• RQ5 얼굴 인식 성능을 최적화하기 위해 가장 적절한 스케일(신원 수 및 변동성 수)은 무엇인가?

주요 결과

• 디스코 알고리즘을 사용해 30,000개의 신원과 각 신원당 64개의 변동성을 가진 경우, AgeDB 벤치마크에서 평균 얼굴 인식 정확도 88.40%를 달성하였으며, 최신 기술 수준의 확산 기반 방법과 근접한 성능을 보였다.
• 이전에 제안된 GAN 기반 합성 데이터셋을 능가하며, 더 뛰어난 일반화 능력과 다양성을 보였다.
• 진짜-합성 임베딩 반발력 거리(dE_tr)를 0에서 1.3으로 증가시킴에 따라 얼굴 인식 정확도가 약간 향상되어 일반화 능력 향상의 징후로 해석되었다.
• 놀랍게도 변동성 수를 64에서 128로 늘리자 성능이 심각하게 하락(예: 평균 정확도 69.32%로 감소)하여 과적합 또는 품질 열화의 징후로 나타났다.
• 가장 유사한 진짜 및 합성 이미지 쌍의 시각적 점검 결과, 제안된 방법은 DCFace와 달리 신원 泄루가 거의 관찰되지 않았다.
• 기준 앙상블을 사용한 데이터셋 복합화로는 성능 향상이 미미하여, 핵심 알고리즘이 이미 스케일에 맞게 효과적으로 작동하고 있음을 시사했다.