[논문 리뷰] RepFair-GAN: Mitigating Representation Bias in GANs Using Gradient Clipping

Patrik Joslin Kenfack, Kamil Sabbagh외 2명|arXiv (Cornell University)|2022. 07. 13.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 GAN의 표현 편향을 완화하기 위해 판별기 학습 중에 군집별 기울기 노름 클리핑을 적용하는 RepFair-GAN을 제안한다. 각 민감한 특성 군집의 기울기 크기를 제어함으로써 생성기는 테스트 시 모든 군집에서 균일하게 샘플링하게 되어, 샘플 품질을 희생시키지 않은 채 공정한 데이터 생성을 달성한다. 이는 MNIST와 SVHN에서 균형 및 비균형 군집 분포 모두에서 검증되었다.

ABSTRACT

Fairness has become an essential problem in many domains of Machine Learning (ML), such as classification, natural language processing, and Generative Adversarial Networks (GANs). In this research effort, we study the unfairness of GANs. We formally define a new fairness notion for generative models in terms of the distribution of generated samples sharing the same protected attributes (gender, race, etc.). The defined fairness notion (representational fairness) requires the distribution of the sensitive attributes at the test time to be uniform, and, in particular for GAN model, we show that this fairness notion is violated even when the dataset contains equally represented groups, i.e., the generator favors generating one group of samples over the others at the test time. In this work, we shed light on the source of this representation bias in GANs along with a straightforward method to overcome this problem. We first show on two widely used datasets (MNIST, SVHN) that when the norm of the gradient of one group is more important than the other during the discriminator's training, the generator favours sampling data from one group more than the other at test time. We then show that controlling the groups' gradient norm by performing group-wise gradient norm clipping in the discriminator during the training leads to a more fair data generation in terms of representational fairness compared to existing models while preserving the quality of generated samples.

연구 동기 및 목표

• 생성 모델에 대해 새로운 공정성 개념인 표현 공정성(Representational Fairness)을 정식화하는 것 — 테스트 시 생성 샘플 내 보호되는 특성(예: 성별, 인종)이 균일하게 분포되어야 한다는 조건.
• GAN 내 표현 편향의 근본 원인을 규명하는 것 — 특히 훈련 데이터가 균형 잡혀 있음에도 생성기가 특정 군집을 선호하는 이유를 밝히는 것.
• 생성기나 추가 데이터를 수정하지 않으면서도 공정한 생성을 보장하는 단순하고 효과적이며 일반화 가능한 방법을 개발하는 것.
• 다양한 수준의 군집 비균형과 여러 데이터셋(MNIST, SVHN)에서 메서드의 효과성을 평가하는 것.
• 판별기 학습 중에 군집별 기울기 노름을 제어함으로써 추론 시 더 균일하고 공정한 샘플링이 가능하다는 것을 보여주는 것.

제안 방법

• 메서드는 민감한 특성 군집별로 기울기 노름을 별도로 클리핑하는 방식으로, 각 군집의 기울기 노름이 사전 정의된 최대 노름을 초과할 경우 클리핑을 적용한다.
• 배치 기반으로 수행되며, 훈련 배치를 보호되는 특성(예: MNIST의 숫자 클래스, SVHN의 숫자 유형)에 따라 군집으로 나누고, 각 군집의 기울기 노름을 별도로 클리핑한다.
• 표준 GAN 학습 목표를 유지하되, 판별기의 역전파 단계를 수정하여 군집 간 균형 잡힌 기울기 업데이트를 보장한다.
• 최대 기울기 노름(C)은 검증을 통해 하이퍼파라미터로 조정되며, 실험 결과에서 MNIST와 SVHN 모두에서 C=2일 때 최적 성능을 보였다.
• 생성기나 데이터 전처리를 수정할 필요 없이 다양한 GAN 변종과 호환되며, 판별기의 기울기 업데이트 단계만 수정함으로써 간편하고 효율적인 방법이다.
• 메서드는 경량이며 효율적이며, 표준 GAN 학습 파이프라인에 대한 수정이 거의 필요로 한다.

실험 결과

연구 질문

• RQ1 왜 훈련 데이터의 군집 분포가 균형 잡혀 있음에도 불구하고 GAN은 편향된 샘플을 생성하는가?
• RQ2 민감한 특성 군집 간 기울기 노름의 격차가 테스트 시 생성기의 샘플링 행동에 어떤 영향을 미치는가?
• RQ3 판별기 학습 중에 군집별 기울기 노름을 제어함으로써 군집 간 더 균일하고 공정한 생성이 가능할 수 있는가?
• RQ4 훈련 데이터의 군집 비균형 정도가 다양할 경우 이 메서드는 어떻게 성능을 보이는가?
• RQ5 제안된 방법은 공정성을 달성하면서도 생성 샘플의 품질을 유지하는가?

주요 결과

• 기본 GAN은 훈련 데이터가 균형 잡혀 있음에도 불구하고, 판별기 학습 중 기울기 노름의 격차로 인해 테스트 시 잘 표현된 군집을 선호하는 강한 표현 편향을 보인다.
• 판별기 학습 중 한 군집의 기울기 노름 크기가 다른 군집보다 현저히 클 경우, 생성기는 테스트 시 그 군집에서 샘플링을 선호하게 된다.
• C=2에서 군집별 기울기 노름 클리핑을 적용하면, MNIST와 SVHN 양쪽 모두에서 훈련 데이터가 비균형(예: 20% 대 80%)일지라도 생성 샘플 내 군집 표현이 균일해진다.
• 최대 기울기 노름 값이 2 이하일 경우(예: 0.1, 0.5, 1), 기울기 소실로 인해 학습이 수렴하지 않아 무작위로 낮은 품질의 샘플이 생성된다.
• 최대 기울기 노름 값이 20 이상일 경우, 표현 편향이 재발현되어 과도한 클리핑 임계값이 기울기 격차를 제약하지 못함을 시사한다.
• RepFair-GAN은 샘플 품질을 기본 GAN과 유사하게 유지하면서도 훨씬 더 공정한 군집 표현을 달성하며, 다양한 데이터셋에서 정성적 및 정량적 평가를 통해 이를 입증했다.