Skip to main content
QUICK REVIEW

[논문 리뷰] FLUXSynID: A Synthetic Face Dataset with Document and Live Images

Jianzhu Guo, Dingyun Zhang|arXiv (Cornell University)|2024. 07. 03.
Human Motion and AnimationEngineering인용 수 9
한 줄 요약

이 논문은 non-diffusion, implicit-keypoint–based video-driven portrait animation framework인 LivePortrait를 제안하며, 고품질, 제어 가능하고 효율적인 애니메이션을 위해 stitching 및 retargeting 모듈로 보강되어 있습니다.

ABSTRACT

FLUXSynID: A Synthetic Face Dataset with Document and Live Images FLUXSynID is a high-resolution synthetic identity dataset containing 14,889 unique synthetic identities, each represented through a document-style image and three live capture variants. Identities are generated using the FLUX.1 [dev] diffusion model, guided by user-defined identity attributes such as gender, age, region of origin, and other various identity features. The dataset is created to support biometric research, including face recognition and morphing attack detection. File Structure Each identity has a dedicated folder (named as a 12-digit hex string, e.g., 000e23cdce23) containing the following 5 files: 000e23cdce23_f.json — metadata including sampled identity attributes, prompt, generation seed, etc. (_f = female; _m = male; _nb = non-binary) 000e23cdce23_f_doc.png — document-style frontal image 000e23cdce23_f_live_0_e_d1.jpg — live image generated with LivePortrait (_e = expression and pose) 000e23cdce23_f_live_0_a_d1.jpg — live image via Arc2Face (_a = arc2face) 000e23cdce23_f_live_0_p_d1.jpg — live image via PuLID (_p = pulid) All document and LivePortrait/PuLID images are 1024×1024. Arc2Face images are 512×512 due to original model constraints. Attribute Sampling and Prompting The attributes/ directory contains all information about how identity attributes were sampled: A set of .txt files (e.g., ages.txt, eye_shape.txt, body_type.txt) — each lists the possible values for one attribute class, along with their respective sampling probabilities. file_probabilities.json — defines the inclusion probability for each attribute class (i.e., how likely a class such as "eye shape" is to be included in a given prompt). attribute_clashes.json — specifies rules for resolving semantically conflicting attributes. Each clash defines a primary attribute (to be kept) and secondary attributes (to be discarded when the clash occurs). Prompts are generated automatically using Qwen2.5 large language model, based on selected attributes, and used to condition FLUX.1 [dev] during image generation. Live Image Generation Each synthetic identity has three live image-style variants: LivePortrait: expression/pose changes via keypoint-based retargeting Arc2Face: natural variation using identity embeddings (no prompt required) PuLID: identity-aware generation using prompt, embedding, and edge-conditioning with a customized FLUX.1 [dev] diffusion model These approaches provide both controlled and naturalistic identity-consistent variation. Filtering and Quality Control Included are 9 supplementary text files listing filtered subsets of identities. For instance, file similarity_filtering_adaface_thr_0.333987832069397_fmr_0.0001.txt contains identities retained after filtering out overly similar faces using AdaFace FRS under the specified threshold and false match rate (FMR). Usage and Licensing This dataset is licensed under the Creative Commons Attribution Non Commercial 4.0 International (CC BY-NC 4.0) license.You are free to use, share, and adapt the dataset for non-commercial purposes, provided that appropriate credit is given. The images in this dataset were generated using the FLUX.1 [dev] model by Black Forest Labs, which is made available under their Non-Commercial License. While this dataset does not include or distribute the model or its weights, the images were produced using that model. Users are responsible for ensuring that their use of the images complies with the FLUX.1 [dev] license, including any restrictions it imposes. Acknowledgments The FLUXSynID dataset was developed under the EINSTEIN project. The EINSTEIN project is funded by the European Union (EU) under G.A. no. 101121280 and UKRI Funding Service under IFS reference 10093453. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect the views of the EU/Executive Agency or UKRI. Neither the EU nor the granting authority nor UKRI can be held responsible for them.

연구 동기 및 목표

  • 단일 소스 이미지에서 driving signals(비디오, 모션 또는 생성)를 사용하여 효율적이고 제어 가능한 포트레이트 애니메이션을 가능하게 하는 동기를 제시한다.
  • 높은 충실도와 효율성을 유지하면서 스타일링된 초상 및 신원 간(cross-identity) 시나리오에 대한 일반화를 개선한다.
  • 계산 비용이 거의 증가 없이 제어 가능성을 높이기 위한 설계( stitching 및 retargeting )를 개발한다.

제안 방법

  • Face Vid2vid를 기반으로 한 강화된 비확산 implicit-keypoint–based 프레임워크를 채택한다.
  • 일반화를 개선하기 위해 혼합 이미지–비디오 학습 전략과 대규모 데이터셋(~69M 프레임)을 사용한다.
  • 캐노니컬 키포인트 학습, 헤드 포즈 및 표정 변형을 SPADE 기반 생성기를 갖춘 단일 네트워크로 통합한다.
  • 드라이빙 중 질감을 안정시키기 위한 명시적 축척 인자를 갖춘 확장 가능한 모션 변환을 도입한다.
  • 눈 및 입 랜드마크에 Wing loss를 적용한 랜드마크 가이드 임피시트 키포인트 최적화를 도입한다.
  • 지각적 손실 및 GAN 손실의 계단식 조합과 얼굴 아이디(face-id) 손실을 구현하여 신원을 보존하고 텍스처 품질을 향상시킨다.
  • 스티칭 모듈과 두 개의 재타겟팅 모듈(눈, 입)을 도입하여 오버헤드 없이 제어 가능성을 향상시킨다.
  • 스티칭 모듈은 원래 이미지 공간으로 다시 붙일 때 신원 및 영역 간의 모션 정렬을 수행한다.

실험 결과

연구 질문

  • RQ1임피시트 키포인트를 어떻게 활용하여 고품질이고 제어 가능한 포트레이트 애니메이션을 효율적으로 달성할 수 있는가?
  • RQ2혼합 이미지–비디오 학습이 스타일링된 초상 또는 교차 신원 포트레이트로의 일반화를 향상시킬 수 있는가?
  • RQ3스티칭 및 재타겟팅 모듈이 상당한 계산 비용 없이 제어 가능성을 향상시키는가?

주요 결과

  • The Ours 모델은 self-reenactment 및 cross-reenactment 작업에서 여러 non-diffusion 및 diffusion 베이스라인과 비교해 경쟁력 있는 또는 더 나은 정량적 지표를 달성한다.
  • Stitching은 어깨 정렬의 일관성을 가능하게 하고 원래 이미지 공간으로 다시 붙일 때 공간적 불일치를 줄인다.
  • Eyes and lip retargeting 모듈은 제어 가능하고 신원 보존적인 조정을 제공하여 교차 신원 구동에서 표현 충실도를 향상시킨다.
  • RTX 4090에서 추론 속도는 12.8 ms에 도달하여 확산 기반 방법에 비해 강한 효율성을 입증한다.
  • Voxceleb, MEAD, RAVDESS, AAHQ 및 스타일링된 LightStage 유래 데이터를 포함한 혼합 이미지–비디오 학습 전략은 스타일링된 초상에 대한 일반화를 더 잘 달성한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.