[논문 리뷰] Generative Adversarial Networks for Mitigating Biases in Machine Learning Systems

Adel Abusitta, Esma Aı̈meur외 1명|arXiv (Cornell University)|2019. 05. 23.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 기계학습에서의 편향을 줄이기 위해 조건부 생성 적대적 네트워크(cGAN) 기반 프레임워크를 제안한다. 이는 소수자 인구 집단을 위한 합성된 공정한 데이터를 생성함으로써 편향을 완화한다. 특정 디모그라픽 그룹에 맞춰 조정된 cGAN 기반의 합성 샘플을 훈련 데이터에 보완함으로써, 편향을 줄이고 정확도를 향상시키는 방식이다. UCI Adult 및 Adience 데이터셋에서 검증된 결과, 최대 85.5%의 정확도와 92.27%의 종합 성능을 기록하였다.

ABSTRACT

In this paper, we propose a new framework for mitigating biases in machine learning systems. The problem of the existing mitigation approaches is that they are model-oriented in the sense that they focus on tuning the training algorithms to produce fair results, while overlooking the fact that the training data can itself be the main reason for biased outcomes. Technically speaking, two essential limitations can be found in such model-based approaches: 1) the mitigation cannot be achieved without degrading the accuracy of the machine learning models, and 2) when the data used for training are largely biased, the training time automatically increases so as to find suitable learning parameters that help produce fair results. To address these shortcomings, we propose in this work a new framework that can largely mitigate the biases and discriminations in machine learning systems while at the same time enhancing the prediction accuracy of these systems. The proposed framework is based on conditional Generative Adversarial Networks (cGANs), which are used to generate new synthetic fair data with selective properties from the original data. We also propose a framework for analyzing data biases, which is important for understanding the amount and type of data that need to be synthetically sampled and labeled for each population group. Experimental results show that the proposed solution can efficiently mitigate different types of biases, while at the same time enhancing the prediction accuracy of the underlying machine learning model.

연구 동기 및 목표

• 기계학습 시스템의 편향의 근본 원인을 해결하기 위해, 모델 훈련 알고리즘을 조정하는 데서만 그치지 않고 훈련 데이터의 편향에 초점을 맞춘다.
• 기존의 모델 기반 완화 기법에서 내재된 정확도와 공정성 간의 상충관계를 극복한다.
• 소수자 집단의 데이터 부족과 불균형을 보완하기 위해 합성 데이터를 생성함으로써 훈련 시간을 단축하고 효율성을 향상시킨다.
• 전문 지식에 기반한 편향 유형과 인구 집단의 필요에 따라 타겟된 합성 데이터 생성을 가능하게 함으로써 도메인 인식 기반의 데이터 증강을 제공한다.
• 편향 분석과 데이터 생성을 통합하여, 불필요하거나 관련 없는 합성 데이터가 생성되지 않도록 보장한다.

제안 방법

• 프레임워크는 소수자 디모그라픽 그룹에 대해 특정 속성을 가진 고품질의 합성 데이터를 생성하기 위해 조건부 GAN(cGAN)을 활용한다.
• 생성자(Gen)와 판별자(Dis) 사이의 최소 최대 두 명의 플레이어 게임이 훈련되며, Gen은 타겟된 그룹의 진짜 데이터 분포를 학습한다.
• 생성자는 클래스 레이블이나 디모그라픽 속성을 조건으로 하여 원하는 공정성 특성을 가진 데이터를 생성한다.
• 소수자 집단의 실제 데이터 분포를 기반으로 합성 데이터를 생성하고, 이를 원본 훈련 세트에 보완한다.
• 합성 데이터 생성에 필요한 정도와 유형을 안내하기 위해 편향 분 析 모듈과 프레임워크를 통합한다.
• 최종 모델은 원본 데이터와 합성 데이터의 병합된 데이터셋으로 훈련되어 공정성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 cGAN 기반의 데이터 생성이 예측 정확도를 떨어뜨리지 않으면서 기계학습 모델의 편향을 효과적으로 줄일 수 있는가?
• RQ2 기본 모델 및 피벗 기반 접근법과 비교해 볼 때, cGAN을 이용한 합성 데이터 증강은 다양한 디모그라픽 그룹에서 공정성과 정확도 측면에서 어떻게 성과를 내는가?
• RQ3 도메인 인식 기반의 합성 데이터 생성은 불필요한 데이터 생성을 최소화하면서 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ4 편향 분석과 데이터 생성을 통합함으로써, 더 효율적이고 타겟된 편향 완화가 가능해지는가?
• RQ5 모델 기반 공정성 기법이 광범위한 초모수 튜닝이 필요한 것과 비교해, 제안된 프레임워크는 훈련 시간을 줄일 수 있는가?

주요 결과

• UCI Adult 데이터셋에서 제안된 방법은 85.5%의 정확도를 기록했으며, 900 HUs를 소모하여 기준선(82.9%)과 피벗 기반 방법(77.3%)을 크게 앞섰다.
• Adience 데이터셋에서 제안된 방법은 총 정확도 92.27%를 기록했으며, 900 HUs를 소모하여 기준선(86.40%)과 피벗 기반 접근법(81.37%)을 뛰어넘었다.
• 다크 페르소나 여성의 경우, cGAN 기반 합성 샘플을 사용한 데이터 증강 이후 분류 정확도가 68.4%에서 88.6%로 향상되어 강력한 편향 완화 효과를 입증했다.
• 백인 남성(99.7%)과 백인 여성(92.5%) 그룹을 포함한 모든 그룹에서 높은 정확도를 유지하여 디모그라픽 간 균형 잡힌 성능을 보였다.
• 기존의 모델 기반 접근법에서 관찰되는 정확도-공정성 상충관계를 줄여, 기존 방법보다 더 높은 공정성과 더 높은 정확도를 동시에 달성했다.
• 편향 분석과 데이터 생성의 통합을 통해 타겟화되고 효율적인 데이터 생성이 가능해져, 여분이거나 불필요한 합성 샘플의 생성을 최소화했다.