[논문 리뷰] Improving the Fairness of Deep Generative Models without Retraining

Shuhan Tan, Yujun Shen외 1명|arXiv (Cornell University)|2020. 12. 09.

Face recognition and analysis참고 문헌 43인용 수 21

한 줄 요약

이 논문은 재학습 없이도 사전 훈련된 딥 생성 모델, 특히 StyleGAN2에서 정의 가능한 의미적 분포를 잠재 공간에서 이동시켜 공정성을 향상시키는 후처리 방법을 제안한다. 이 방법은 인종과 성별과 같은 얼굴 특성 간의 생성 균형을 맞추며, 품질 유지와 함께 샘플 다양성과 함께 편향을 크게 감소시킨다. 또한 후속 모델에서 편향 분석을 가능하게 한다.

ABSTRACT

Generative Adversarial Networks (GANs) advance face synthesis through learning the underlying distribution of observed data. Despite the high-quality generated faces, some minority groups can be rarely generated from the trained models due to a biased image generation process. To study the issue, we first conduct an empirical study on a pre-trained face synthesis model. We observe that after training the GAN model not only carries the biases in the training data but also amplifies them to some degree in the image generation process. To further improve the fairness of image generation, we propose an interpretable baseline method to balance the output facial attributes without retraining. The proposed method shifts the interpretable semantic distribution in the latent space for a more balanced image generation while preserving the sample diversity. Besides producing more balanced data regarding a particular attribute (e.g., race, gender, etc.), our method is generalizable to handle more than one attribute at a time and synthesize samples of fine-grained subgroups. We further show the positive applicability of the balanced data sampled from GANs to quantify the biases in other face recognition systems, like commercial face attribute classifiers and face super-resolution algorithms.

연구 동기 및 목표

• 사전 훈련된 GAN이 이미지 생성 과정에서 훈련 데이터의 편향을 어떻게 증폭시키는지 조사하기 위해.
• 원본 훈련 데이터에 접근할 수 없거나 재학습이 불가능한 상황에서 딥 생성 모델의 공정성을 향상시키는 방법을 개발하기 위해.
• 다양한 얼굴 특성과 세분화된 하위 집단 간에 균형 잡힌 생성을 가능하게 하기 위해.
• 이러한 균형 잡힌 GAN 생성 데이터가 다른 AI 시스템, 예를 들어 얼굴 특성 분류기나 초해상도 모델에서 편향을 탐지하는 데 유용한지를 보여주기 위해.

제안 방법

• 낮은 표현 비율을 보이는 하위 집단에 해당하는 잠재 코드를 식별하고 이동시켜 잠재 공간의 샘플링 전략을 수정한다.
• 원하는 특성 조합 기반으로 잠재 코드를 필터링하고 재가중하기 위해 사전 훈련된 특성 점수 함수 $ f_S $ 를 사용한다.
• 필터링된 잠재 코드에 대해 혼합 정규분포 모델(Gaussian Mixture Models, GMMs)을 피팅하여 각 하위 집단의 이동된 분포를 모델링한다.
• 이동된 GMMs를 사용해 특성 간 균형 잡힌 출력을 생성할 수 있는 새로운 잠재 코드를 샘플링한다.
• 이 방법은 추론 후에 적용되며, 원본 모델 가중치를 유지하고 미세조정이 필요 없다.
• 이 방법은 다수의 특성에 일반화 가능하며 세분화된 하위 집단 샘플링을 지원한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN이 훈련 데이터에 존재하는 편향을 어느 정도 증폭시키는가?
• RQ2 원본 훈련 데이터에 접근하거나 재학습 없이도 GAN 생성 이미지의 공정성을 향상시킬 수 있는가?
• RQ3 제안된 방법이 다수의 얼굴 특성, 예를 들어 인종과 성별 간의 균형 잡힌 생성에 얼마나 효과적인가?
• RQ4 이 방법으로 생성된 균형 잡힌 데이터가 다른 AI 시스템에서 편향을 탐지하는 데 사용될 수 있는가?

주요 결과

• 사전 훈련된 StyleGAN2 모델은 훈련 데이터의 편향을 증폭시키며, 블랙 페미닌의 같은 낮은 표현 비율의 하위 집단에 대해 상당히 적은 수의 이미지를 생성한다.
• 제안된 방법은 원본 모델 대비 공정성 점수를 최대 80% 감소시켰으며, 연령-안경 조합의 경우 공정성 점수는 0.0079, 성별-안경 조합의 경우 0.0013를 기록했다.
• 이 방법은 인종, 성별, 안경 등 다수의 특성에서 균형을 효과적으로 향상시키며, 샘플 다양성 손실가 최소화된다.
• 이 방법으로 생성된 균형 잡힌 데이터는 다른 시스템의 편향을 효과적으로 드러낸다: PULSE 초해상도 모델은 블랙 얼굴의 76.4%와 아시아인 얼굴의 34.3%에서 인종 특성을 변경했으며, 여성 입력의 50%에서 성별을 변경했다.
• 절단 실험을 통해 잠재 코드 이동, 필터링, GMM 피팅이 모두 공정성 향상에 필수적임을 확인했다.
• 이 방법은 인간 주석 없이 또는 데이터셋 재균형 없이도 후속 모델에서 저비용으로 확장 가능한 편향 분석을 가능하게 한다.