[논문 리뷰] Fair Generative Modeling via Weak Supervision

Kristy Choi, Aditya Grover외 3명|arXiv (Cornell University)|2019. 10. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 71인용 수 15

한 줄 요약

이 논문은 소량의 레이블이 없는 기준 데이터셋을 사용하여 딥 생성 모델의 편향을 완화하는 약한 지도 학습 기반 생성 모델링 접근법을 제안한다. 확률적 분류기로 밀도 비율을 추정하고 학습 샘플을 재가중함으로써, 샘플 품질에 거의 영향을 주지 않은 채 CelebA에서 잠재적 편향을 최대 34.6%까지 감소시킨다. 이는 명시적인 편향 요소 레이블 없이도 데이터 효율적이고 공정한 이미지 생성을 가능하게 한다.

ABSTRACT

Real-world datasets are often biased with respect to key demographic factors such as race and gender. Due to the latent nature of the underlying factors, detecting and mitigating bias is especially challenging for unsupervised machine learning. We present a weakly supervised algorithm for overcoming dataset bias for deep generative models. Our approach requires access to an additional small, unlabeled reference dataset as the supervision signal, thus sidestepping the need for explicit labels on the underlying bias factors. Using this supplementary dataset, we detect the bias in existing datasets via a density ratio technique and learn generative models which efficiently achieve the twin goals of: 1) data efficiency by using training examples from both biased and reference datasets for learning; and 2) data generation close in distribution to the reference dataset at test time. Empirically, we demonstrate the efficacy of our approach which reduces bias w.r.t. latent factors by an average of up to 34.6% over baselines for comparable image generation using generative adversarial networks.

연구 동기 및 목표

• 레이블이 없고 관찰되지 않는 핵심 인구통계적 요인(예: 인종, 성별)이 잠재적으로 존재하는 경우, 비지도 생성 모델링에서 발생하는 데이터셋 편향을 해결하기 위해.
• 큰 편향된 학습 데이터셋에서 편향을 수정하기 위해 소량의 레이블이 없는 기준 데이터셋을 약한 지도 학습으로 활용하는 데이터 효율적인 방법을 개발하기 위해.
• 테스트 시점에 생성 모델이 기준 데이터셋의 분포에 더 가까운 샘플을 생성하도록 하여 공정성을 향상시키되, 샘플 품질을 희생시키지 않기 위해.
• 편향 속성에 대한 비용이 많이 드는 명시적 레이블링이 필요 없도록 하기 위해, 소량의 기준 세트에서 밀도 비율 추정을 활용하기 위해.

제안 방법

• 이 방법은 편향된 데이터셋 샘플의 기여도를 그들의 편향된 분포와 기준 데이터 분포 하에서의 상대적 가능성에 기반해 조정하기 위해 중요도 재가중을 사용한다.
• 밀도 비율은 편향된 데이터셋과 기준 데이터셋을 구분하도록 훈련된 이진 분류기를 통해 추정하며, 직접적인 밀도 추정을 피한다.
• 분류기의 출력 점수를 중요도 가중치로 사용하여 학습 예제를 재가중함으로써, 편향된 데이터에서 소수의 하위 집단이 더 강하게 반영되도록 한다.
• 재가중된 손실은 GAN의 적대적 훈련 동안 적용되며, 이로써 생성자는 더 공정하고 기준 분포에 맞는 데이터 분포를 학습할 수 있다.
• 이 방법은 모델에 종속적이지 않으며, GAN, VAE, 노멀라이징 플로우를 포함한 다양한 생성 모델에 적용할 수 있다.
• 기준 데이터셋은 편향 요소에 대해 레이블이 필요 없으며, 편향된 데이터셋보다 훨씬 작을 수 있어 약한 지도 학습이 가능하다.

실험 결과

연구 질문

• RQ1 성별이나 인종과 같은 잠재적 인구통계적 요소에 대한 명시적 레이블 없이도 딥 생성 모델의 편향을 줄일 수 있는가?
• RQ2 큰 편향된 학습 데이터셋에서 생성 모델링을 위해 소량의 레이블이 없는 기준 데이터셋을 어떻게 활용하여 편향을 수정할 수 있는가?
• RQ3 밀도 비율 추정 기반 중요도 재가중이 샘플 품질을 유지하면서 생성 샘플의 공정성에 얼마나 기여할 수 있는가?
• RQ4 기준 데이터셋에서의 약한 지도 학습만으로도 데이터 효율적이고 공정한 생성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 GAN를 사용한 이미지 생성에서 기준선 대비 평균적으로 잠재적 요인에 대한 편향을 최대 34.6%까지 감소시켰으며, 단일 속성 설정에서 편향=0.9일 경우 49.3%, 편향=0.8일 경우 23.9%의 향상 효과를 보였다.
• 다중 속성 편향의 경우 기준선 대비 평균 32.5%의 편향 감소를 달성하여 복잡한 편향 구조에서도 효과적임을 입증했다.
• 높은 샘플 품질을 유지하였으며, 기준 데이터셋과의 평가에서 FID와 같은 지표에서 유의미한 품질 저하가 없었다.
• 편향 속성에 대한 명시적 애너테이션 없이도 소량의 기준 데이터셋을 약한 지도 학습으로 활용함으로써 효과적인 편향 완화가 가능했다.
• 실증 결과는 기준 세트가 작더라도 생성 분포가 기준 분포에 더 가까워지는 것을 성공적으로 이끌어냈다.
• 이 방법은 다양한 수준의 데이터셋 편향에 대해 강건하며, CelebA 데이터셋에서 단일 및 다중 속성 편향 시나리오 모두에 일반화된다.