[논문 리뷰] Uncovering Bias in Face Generation Models

Cristian Muñoz, Sara Zannone외 2명|arXiv (Cornell University)|2023. 02. 22.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN) 및 확산 모델을 포함한 최신 얼굴 생성 모델에서의 편향을 종합적으로 분석한다. FID, 얼굴 매칭 오차, 자기 유사성 등의 지표를 사용하여 생성기, 속성 수정기(InterfaceGAN), 후처리 완화 기법을 평가한다. 연구 결과 생성기는 강한 편향을 보이며, 백인에 대한 선호도가 75–85%이고 여성 성별에 대한 선호도가 60–80%로 나타났다. 반면 후처리 완화 기법은 품질 손실를 최소화하면서도 가장 효율적인 공정성 향상 효과를 보였지만, 임베딩 공간 내 특징 농도에 영향을 미쳤다.

ABSTRACT

Recent advancements in GANs and diffusion models have enabled the creation of high-resolution, hyper-realistic images. However, these models may misrepresent certain social groups and present bias. Understanding bias in these models remains an important research question, especially for tasks that support critical decision-making and could affect minorities. The contribution of this work is a novel analysis covering architectures and embedding spaces for fine-grained understanding of bias over three approaches: generators, attribute modifier, and post-processing bias mitigators. This work shows that generators suffer from bias across all social groups with attribute preferences such as between 75%-85% for whiteness and 60%-80% for the female gender (for all trained CelebA models) and low probabilities of generating children and older men. Modifier and mitigators work as post-processor and change the generator performance. For instance, attribute channel perturbation strategies modify the embedding spaces. We quantify the influence of this change on group fairness by measuring the impact on image quality and group features. Specifically, we use the Fréchet Inception Distance (FID), the Face Matching Error and the Self-Similarity score. For Interfacegan, we analyze one and two attribute channel perturbations and examine the effect on the fairness distribution and the quality of the image. Finally, we analyzed the post-processing bias mitigators, which are the fastest and most computationally efficient way to mitigate bias. We find that these mitigation techniques show similar results on KL divergence and FID score, however, self-similarity scores show a different feature concentration on the new groups of the data distribution. The weaknesses and ongoing challenges described in this work must be considered in the pursuit of creating fair and unbiased face generation models.

연구 동기 및 목표

• 최신 얼굴 생성 모델(생성적 적대적 네트워크(GAN) 및 확산 모델 포함)에서 편향을 식별하고 정량화하는 것.
• 아키텍처 선택 및 임베딩 공간 조작이 공정성과 이미지 품질에 미치는 영향을 조사하는 것.
• 속성 수정기(예: InterfaceGAN) 및 후처리 편향 완화 기법이 그룹 수준의 편향을 줄이는 데 얼마나 효과적인지 평가하는 것.
• 편향 완화 기법을 적용할 때 공정성, 이미지 정확도, 특징 분포 간의 상호 교환 관계를 평가하는 것.
• 다양한 상호보완적 지표를 사용하여 생성된 얼굴 데이터셋의 편향과 공정성 측정을 체계적으로 기준화하는 것.

제안 방법

• CelebA 및 FFHQ 데이터셋에서 DDPM, LDM, StyleGAN2, CIPS 등의 다양한 얼굴 생성 모델을 훈련 및 평가하였다.
• Z-공간, W-공간, 주성분 분석(PCA) 공간(GANSpace), 스타일 공간(StyleSpace)에서 잠재 공간 조작을 통해 정밀한 속성 편집을 구현하였다.
• 스타일 공간에서 InterfaceGAN을 사용하여 스타일 공간 내 일원 및 이원 채널 속성 변형을 수행하여 공정성과 품질 간의 상호 교환 관계를 분석하였다.
• 이미지 품질을 평가하기 위해 프레셰 인ception 거리(Fréchet Inception Distance, FID), 얼굴 매칭 오차, 자기 유사성 점수를 측정하여 분포 이탈 및 아티팩트를 탐지하였다.
• 재훈련 대비 계산 비용이 낮은 후처리 편향 완화 기법을 평가하여 KL 발산 및 FID에 미치는 영향을 비교하였다.
• 성별, 인종, 연령, 감정 등의 보호받는 속성에 따른 데이터 분포를 분석하여 생성 샘플 내 부족한 표현과 편향 정도를 정량화하였다.

((a))

실험 결과

연구 질문

• RQ1 사전 훈련된 얼굴 생성 모델이 인종, 성별, 연령과 같은 특정 사회적 집단에 대해 어느 정도 편향을 보이는가?
• RQ2 InterfaceGAN과 같은 속성 조작 기법이 다양한 임베딩 공간에서 공정성과 이미지 품질에 어떤 영향을 미치는가?
• RQ3 직접 모델 미세조정 대비 후처리 편향 완화 기법이 이미지 정확도와 분포 공정성에 어떤 영향을 미치는가?
• RQ4 표준 지표인 FID가 편향 관련 아티팩트를 어떻게 탐지하지 못하는지, 그리고 FID 외에 추가로 필요한 지표(예: 자기 유사성)는 무엇인지?
• RQ5 편향 완화, 이미지 품질, 잠재 공간 내 특징 농도 간의 상호 교환 관계는 무엇인가?

주요 결과

• CelebA에서 훈련된 생성기는 강한 편향을 보이며, 모든 모델에서 백인에 대한 선호도가 75–85%로 나타났고 여성 성별에 대한 선호도는 60–80%였다.
• 어린이 및 노인 남성은 심각하게 부족하게 표현되었으며, 생성된 이미지 중 10–19세 및 50세 이상 연령대에 속하는 비율은 각각 10–20%에 불과했다.
• 후처리 편향 완화 기법은 가장 계산 효율적인 방법으로, 다른 방법과 유사한 FID 및 KL 발산 점수를 보였지만 데이터 분포 내 특징 농도에 영향을 미쳤다.
• 자기 유사성 점수는 완화 기법과 수정 기법이 특징 농도를 이동시킴을 드러내어, FID만으로는 포착되지 않는 분포 왜곡 가능성을 시사한다.
• 스타일 공간 내 큰 변형(예: InterfaceGAN를 통한 변형)은 FID가 안정된 상태에서도 불필요한 아티팩트를 유발하여 이미지 품질을 떨어뜨린다.
• FID와 자기 유사성의 조합은 FID만 사용할 때보다 더 강력한 평가 방법으로, 자기 유사성은 속성별 특징 분포의 이상을 탐지할 수 있다.

((b))