[논문 리뷰] Imperfect ImaGANation: Implications of GANs Exacerbating Biases on Facial Data Augmentation and Snapchat Selfie Lenses

Niharika Jain, Alberto Olmo외 3명|arXiv (Cornell University)|2020. 01. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 18

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)가 얼굴 데이터 증강 과정에서 기존의 편향을 어떻게 심화시키는지 조사한다. 무조건적 GANs(DCGAN, ProGAN)와 조건부 GANs(CycleGAN)는 대다수 인구 집단 쪽으로 분포가 기울어지게 하여 소수자 집단, 특히 흑인 여성의 경우 수와 품질이 떨어지는 이미지를 생성한다. 연구는 GAN이 편향을 수정하지 못하고 오히려 악화시킨다는 점을 입증하며, Snapchat 렌즈나 합성 데이터 파이프라인과 같은 실제 응용 분야에 영향을 미친다.

ABSTRACT

In this paper, we show that popular Generative Adversarial Networks (GANs) exacerbate biases along the axes of gender and skin tone when given a skewed distribution of face-shots. While practitioners celebrate synthetic data generation using GANs as an economical way to augment data for training data-hungry machine learning models, it is unclear whether they recognize the perils of such techniques when applied to real world datasets biased along latent dimensions. Specifically, we show that (1) traditional GANs further skew the distribution of a dataset consisting of engineering faculty headshots, generating minority modes less often and of worse quality and (2) image-to-image translation (conditional) GANs also exacerbate biases by lightening skin color of non-white faces and transforming female facial features to be masculine when generating faces of engineering professors. Thus, our study is meant to serve as a cautionary tale.

연구 동기 및 목표

• GAN 기반 데이터 증강 기법이 성별 및 피부 톤 차원에서 얼굴 데이터셋 내 기존 편향을 어떻게 전파하고 심화시키는지 조사하는 것.
• 비대칭 데이터셋인 공과대학 교수 헤드샷에서 다양한 고품질 얼굴 이미지를 생성하는 데에 DCGAN, ProGAN, CycleGAN 등 여러 GAN 아키텍처의 성능을 평가하는 것.
• Snapchat의 성별 수정 렌즈와 같은 실제 AI 도구에 대한 GAN 생성 데이터의 영향을 평가하는 것.
• 훈련 데이터가 편향되어 있을 경우 GAN 기반 합성 데이터를 후속 기계학습 작업에 윤리적으로 배포할 수 있는지에 대한 윤리적 리스크를 제기하는 것.
• 실제로 GAN 기반 데이터 생성에서 편향 심화 현상을 비판적으로 분석하고 실무자들이 이를 경계하도록 경고하는 데 목적이 있다.

제안 방법

• 상위 대학에서 온 17,245장의 미국 공과대학 교수 헤드샷을 수집하여 공개 가능성과 이미지 품질을 기준으로 필터링한 데이터셋을 구축했다.
• 비대칭 데이터셋에서 합성 얼굴 이미지를 생성하기 위해 DCGAN, ProGAN, CycleGAN 세 가지 GAN 아키텍처를 적용했다.
• 생성된 데이터의 분포 변화를 실 데이터와 비교하기 위해 인간이 레이블링한 성별 및 피부 톤 정보를 사용했다.
• L2-노름 거리 기반 표준 피부 톤 차트를 사용하여 Snapchat의 여성 성별 렌즈에서 피부 색상 변화를 객관적으로 분석했다.
• 소수자 얼굴 모드의 부재와 품질 저하에 초점을 맞춘 GAN의 모드 붕괴에 대한 정성적·정량적 분석을 수행했다.
• 사람의 평가와 얼굴 특징 및 피부 톤에 기반한 영상 수준의 메트릭을 사용하여 생성된 데이터 분포와 실 데이터 분포를 비교했다.

실험 결과

연구 질문

• RQ1 DCGAN 및 ProGAN과 같은 무조건적 GAN이 얼굴 데이터 증강 과정에서 인구 통계적 불균형을 어느 정도 악화시키는가?
• RQ2 CycleGAN 기반의 이미지 간 번역이 생성된 얼굴 이미지의 성별 및 피부 톤 표현에 어떤 영향을 미치는가?
• RQ3 Snapchat의 스냅샷 렌즈와 같은 대중 소비 AI 도구는 기반 GAN에 존재하는 편향을 어느 정도 반영하고 심화시키는가?
• RQ4 GAN의 모드 붕괴가 소수자 집단의 부재와 이미지 품질 저하를 어떻게 초래하는가?
• RQ5 훈련 데이터가 보호되는 속성(성별, 인종 등)에 따라 편향되어 있을 경우, GAN 기반 합성 데이터를 후속 기계학습 작업에 윤리적으로 배포할 수 있는가?

주요 결과

• DCGAN과 ProGAN는 백인 남성 얼굴에 비해 흑인 여성 얼굴의 이미지 수와 품질이 현저히 낮게 생성되었으며, 이는 다수 집단 쪽으로의 모드 붕괴를 시사한다.
• CycleGAN 기반 이미지 번역은 비백인 얼굴의 평균적으로 한 단계 어두운 피부 톤을 밝게 만드는 경향이 있었고, 백인 얼굴에는 일관되지 않거나 무작위적인 영향을 미쳤다.
• Snapchat의 여성 성별 렌즈는 흑인 여성 얼굴의 특징을 더 남성스럽고 밝은 피부로 바꾸었으며, 객관적 분석을 통해 6명의 비백인 얼굴 중 5명에서 일관된 피부 밝아짐 현상이 확인되었다.
• 연구는 GAN이 훈련 데이터의 편향을 단순히 반영하는 것이 아니라, 특히 성별 및 인종 측면에서 분포가 비대칭일 경우 이를 적극적으로 심화시킨다는 점을 발견했다.
• 최신 기술인 ProGAN 및 CycleGAN로도 편향을 완화하지 못하고 오히려 소수자 인구 집단의 모드 부재를 확산시키며 악화시킨다.
• 결과적으로 GAN 기반 데이터 증강은 후속 AI 시스템에서 체계적 불평등을 강화할 위험이 있으며, 특히 채용, 사법, 얼굴 인식과 같은 고위험 분야에서 그러하다.