[논문 리뷰] Can We Achieve Fairness Using Semi-Supervised Learning?

Joymallya Chakraborty, Huy Tu외 2명|arXiv (Cornell University)|2021. 11. 03.

Adversarial Robustness in Machine Learning참고 문헌 53인용 수 4

한 줄 요약

이 논문은 10%의 레이블된 데이터만을 사용하여 정당성 있는 기계학습 모델을 달성하기 위해 의사 레이블링과 데이터 증강을 활용하는 Fair-SSL이라는 준지도학습 프레임워크를 제안한다. 균형 잡힌 의사 레이블된 학습 데이터를 생성함으로써 Fair-SSL은 비용이 많이 드는 레이블된 데이터에 크게 의존하지 않으면서도 최신의 편향 완화 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

Ethical bias in machine learning models has become a matter of concern in the software engineering community. Most of the prior software engineering works concentrated on finding ethical bias in models rather than fixing it. After finding bias, the next step is mitigation. Prior researchers mainly tried to use supervised approaches to achieve fairness. However, in the real world, getting data with trustworthy ground truth is challenging and also ground truth can contain human bias. Semi-supervised learning is a machine learning technique where, incrementally, labeled data is used to generate pseudo-labels for the rest of the data (and then all that data is used for model training). In this work, we apply four popular semi-supervised techniques as pseudo-labelers to create fair classification models. Our framework, Fair-SSL, takes a very small amount (10%) of labeled data as input and generates pseudo-labels for the unlabeled data. We then synthetically generate new data points to balance the training data based on class and protected attribute as proposed by Chakraborty et al. in FSE 2021. Finally, the classification model is trained on the balanced pseudo-labeled data and validated on test data. After experimenting on ten datasets and three learners, we find that Fair-SSL achieves similar performance as three state-of-the-art bias mitigation algorithms. That said, the clear advantage of Fair-SSL is that it requires only 10% of the labeled training data. To the best of our knowledge, this is the first SE work where semi-supervised techniques are used to fight against ethical bias in SE ML models.

연구 동기 및 목표

• 소프트웨어 공학 응용 분야에서 퍼지게 나타나는 윤리적 편향을 해결하기 위해.
• 일반적으로 희소하고 잠재적으로 편향될 수 있는 신뢰할 수 있는 진실값을 갖는 레이블된 데이터에 대한 의존도를 줄이기 위해.
• 준지도학습 기법이 분류 모델의 편향을 효과적으로 완화할 수 있는지 탐색하기 위해.
• 모델 성능을 유지하면서도 최소한의 레이블된 데이터로 정당성을 달성하는 프레임워크를 개발하기 위해.
• 준지도학습이 정당성 완화에 효과적인지 평가하기 위해, 소프트웨어 공학 분야에서의 새로운 응용 분야로서의 가능성 탐색

제안 방법

• 프레임워크는 의사 레이블러로 네 가지 인기 있는 준지도학습 기법을 사용하여 미레이블된 데이터에 대한 예측을 생성한다.
• 학습 데이터의 10%만을 레이블된 것으로 취하고, 이를 바탕으로 나머지 90%에 대한 의사 레이블을 생성한다.
• Chakraborty 등(2021년 FSE)이 제안한 바와 같이, 클래스와 보호적 특성의 균형을 기반으로 데이터 증강을 적용하여 새로운 학습 샘플을 합성한다.
• 최종 모델은 증강된 의사 레이블이 부여된 데이터셋으로 훈련되고, 테스트 데이터로 검증된다.
• 이러한 접근은 10개의 데이터셋과 세 가지 다른 분류 학습기에서 평가된다.

실험 결과

연구 질문

• RQ1 준지도학습 기법이 기계학습 모델의 윤리적 편향을 효과적으로 완화할 수 있는가?
• RQ2 10%의 레이블된 데이터만을 사용할 때 Fair-SSL의 성능은 최신의 편향 완화 알고리즘과 비교해 어떻게 되는가?
• RQ3 의사 레이블링과 데이터 증강의 사용이 광범위한 레이블된 데이터 없이도 정당성을 향상시키는가?
• RQ4 Fair-SSL은 다양한 데이터셋과 다른 분류 학습기에서 견고한가?

주요 결과

• Fair-SSL은 세 가지 최신의 편향 완화 알고리즘과 비교해 정당성 성능을 유사하게 달성한다.
• 프레임워크는 레이블된 학습 데이터의 10%만을 사용하면서도 강력한 모델 성능을 유지한다.
• 의사 레이블링과 합성 데이터 증강의 사용이 클래스와 보호적 특성의 분포를 효과적으로 균형 잡히게 한다.
• Fair-SSL은 기계학습 모델의 윤리적 편향 완화를 위해 준지도학습을 소프트웨어 공학 분야에서 처음으로 적용한 작업이다.