[논문 리뷰] Imagining an Engineer: On GAN-Based Data Augmentation Perpetuating Biases

Niharika Jain, Lydia Manikonda외 3명|arXiv (Cornell University)|2018. 11. 09.

Digital Media Forensic Detection참고 문헌 9인용 수 7

한 줄 요약

이 논문은 GAN 기반 데이터 증강 기법이 공 ingeneering 연구자들의 합성 이미지를 생성할 때 사회적 편향, 특히 성별 및 피부색 편향을 유지하거나 심지어 악화시킬 수 있음을 보여준다. 진짜 헤드샷 데이터셋을 기반으로 DCGAN을 훈련시켜 합성 얼굴을 생성한 결과, 인간 평가 연구를 통해 확인된 linde에서 원본 데이터보다 더 강한 남성적 특징과 더 밝은 피부색을 가진 얼굴이 생성되었다.

ABSTRACT

The use of synthetic data generated by Generative Adversarial Networks (GANs) has become quite a popular method to do data augmentation for many applications. While practitioners celebrate this as an economical way to get more synthetic data that can be used to train downstream classifiers, it is not clear that they recognize the inherent pitfalls of this technique. In this paper, we aim to exhort practitioners against deriving any false sense of security against data biases based on data augmentation. To drive this point home, we show that starting with a dataset consisting of head-shots of engineering researchers, GAN-based augmentation "imagines" synthetic engineers, most of whom have masculine features and white skin color (inferred from a human subject study conducted on Amazon Mechanical Turk). This demonstrates how biases inherent in the training data are reinforced, and sometimes even amplified, by GAN-based data augmentation; it should serve as a cautionary tale for the lay practitioners.

연구 동기 및 목표

• GAN 기반 데이터 증강이 훈련 데이터에 존재하는 편향을 유지하거나 악화시키는지 조사하기 위해.
• GAN이 생성한 합성 데이터가 성별 및 피부색과 같은 사회적 편향을 반영하고 잠재적으로 왜곡하는 방식을 검토하기 위해.
• 아마존 메카니컬 터크에서 수행한 인간 평가 연구를 통해 GAN으로 생성된 데이터의 신뢰성과 공정성을 평가하기 위해.
• GAN으로 생성된 합성 데이터가 편향이 없거나 다양한 인구 집단을 대표한다고 가정하는 것에 대해 전문가들에게 경고하기 위해.
• 의료 및 이상 탐지와 같이 편향이 심각한 결과를 초래할 수 있는 고위험 분야에서 GAN 증강 데이터를 사용할 경우의 위험을 부각하기 위해.

제안 방법

• 공학 연구자들의 헤드샷 데이터셋을 기반으로 DCGAN을 훈련시어 합성 얼굴을 생성하였다.
• 생성자 네트워크는 임의의 노이즈 벡터(100차원, 𝒩(0,1)에서 샘플링)를 입력으로 받아 64×64 픽셀 이미지를 생성하였다.
• 판별자 네트워크는 진짜 이미지와 생성된 이미지를 구분하도록 훈련되어 생성자가 현실적인 샘플을 생성하도록 유도하였다.
• 아마존 메카니컬 터크에서 인간 평가 연구를 수행하여 실사 및 합성 이미지의 성별 및 피부색 특징을 평가하였다.
• 공동 평가 기준을 설정하여 특징에 대한 일치도를 판단하였으며, 라벨에 동의한 평가자 수를 통해 신뢰도를 측정하였다.
• 평가자 간 일致성 평가를 위해 Fleiss Kappa 및 Krippendorff’s alpha를 사용하여 상호 평가 일致성 수준을 정량화하였다.

실험 결과

연구 질문

• RQ1 GAN 기반 데이터 증강이 원본 훈련 데이터에 존재하는 성별 및 피부색 편향을 어느 정도 유지하는가?
• RQ2 GAN이 생성한 합성 데이터는 기존 편향을 악화시키는가, 아니면 단지 반영하는가?
• RQ3 실사 및 합성 이미지에서 인간 평가자가 성별 특징과 피부색을 식별하는 데 얼마나 일관된가?
• RQ4 실사 데이터와 합성 데이터에서 평가자 수가 증가함에 따라 인간 평가의 신뢰도는 어떻게 변화하는가?
• RQ5 평가자 간 일치도 지표는 합성 이미지가 실사 이미지와 비교해 인지 품질이나 모호성 측면에서 다를 수 있음을 드러내는가?

주요 결과

• DCGAN가 생성한 합성 이미지에서는 남성적 특징에 대한 강한 편향이 나타났으며, 13명의 평가자 중 누구도 '주로 여성스러운 특징'을 지닌 얼굴로 일치 평가하지 않았다.
• 높은 공감도 기준에서도 '주로 남성스러운 특징'으로 식별된 얼굴의 평가자 수가 여전히 높았으며, 이는 편향 강화를 의미한다.
• 피부색 측면에선 합성 데이터에서 '백인'으로 식별된 평가자 비율이 높았고, 10명 이상의 평가자 이상에서 '비백인'으로 식별된 비율은 20% 이하로 떨어졌으며, 이는 편향 악화를 시사한다.
• 성별 특징에 대한 평가자 간 일치도(Fleiss Kappa = 0.765)는 피부색에 대한 일치도(Fleiss Kappa = 0.326)보다 유의미하게 높았으며, 이는 피부색 평가가 더 모호하고 주관적임을 의미한다.
• 인간 평가 연구 결과, 평가자들이 실사 이미지에 비해 합성 이미지에 대해 더 높은 일치도를 보였으며, 이는 GAN 생성 얼굴의 인지 품질이 낮거나 더 모호하다는 것을 시사한다.
• 결과적으로 GAN은 편향을 단순히 반영하는 것이 아니라, 특히 성별 및 인종과 같은 민감한 속성에서 악화시킬 수 있으며, 이는 합성 데이터가 중립적이거나 다양성을 반영한다고 가정하는 것의 근거를 훼손한다.