[论文解读] Can We Achieve Fairness Using Semi-Supervised Learning?

Joymallya Chakraborty, Huy Tu+2 more|arXiv (Cornell University)|Nov 3, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用 4

一句话总结

该论文提出 Fair-SSL，一种半监督学习框架，通过伪标签化和数据增强技术，在仅使用 10% 标注数据的情况下实现机器学习模型的公平性。通过生成平衡的伪标签训练数据，Fair-SSL 达到了与最先进偏差缓解方法相当的性能，同时显著降低了对昂贵标注数据的依赖。

ABSTRACT

Ethical bias in machine learning models has become a matter of concern in the software engineering community. Most of the prior software engineering works concentrated on finding ethical bias in models rather than fixing it. After finding bias, the next step is mitigation. Prior researchers mainly tried to use supervised approaches to achieve fairness. However, in the real world, getting data with trustworthy ground truth is challenging and also ground truth can contain human bias. Semi-supervised learning is a machine learning technique where, incrementally, labeled data is used to generate pseudo-labels for the rest of the data (and then all that data is used for model training). In this work, we apply four popular semi-supervised techniques as pseudo-labelers to create fair classification models. Our framework, Fair-SSL, takes a very small amount (10%) of labeled data as input and generates pseudo-labels for the unlabeled data. We then synthetically generate new data points to balance the training data based on class and protected attribute as proposed by Chakraborty et al. in FSE 2021. Finally, the classification model is trained on the balanced pseudo-labeled data and validated on test data. After experimenting on ten datasets and three learners, we find that Fair-SSL achieves similar performance as three state-of-the-art bias mitigation algorithms. That said, the clear advantage of Fair-SSL is that it requires only 10% of the labeled training data. To the best of our knowledge, this is the first SE work where semi-supervised techniques are used to fight against ethical bias in SE ML models.

研究动机与目标

• 解决软件工程应用中普遍存在的机器学习模型伦理偏差问题。
• 减少对大量具有可信真实标签的标注数据的依赖，而这类数据往往稀缺且可能存在偏差。
• 探究半监督学习技术是否能有效缓解分类模型中的偏差。
• 开发一种在最小标注数据量下实现公平性的同时保持模型性能的框架。
• 评估半监督学习在公平性缓解中的有效性，这是在软件工程领域的一项新颖应用。

提出的方法

• 该框架使用四种流行的半监督学习技术作为伪标签生成器，为未标注数据生成预测。
• 仅将训练数据的 10% 作为标注数据，并利用其为剩余 90% 的数据生成伪标签。
• 基于类别和受保护属性的平衡，应用 Chakraborty 等人（FSE 2021）提出的策略进行数据增强，以合成新的训练样本。
• 最终模型在增强后的伪标签数据集上进行训练，并在测试数据上进行验证。
• 该方法在十个数据集和三种不同的分类学习器上进行了评估。

实验结果

研究问题

• RQ1 半监督学习技术能否有效缓解机器学习模型中的伦理偏差？
• RQ2 在仅使用 10% 标注数据的情况下，Fair-SSL 的性能与最先进偏差缓解算法相比如何？
• RQ3 使用伪标签化和数据增强是否能在不依赖大量标注数据的情况下提升公平性？
• RQ4 Fair-SSL 在不同数据集和不同分类学习器上是否具有鲁棒性？

主要发现

• Fair-SSL 实现的公平性性能与三种最先进偏差缓解算法相当。
• 该框架在仅使用 10% 标注训练数据的情况下仍保持了强大的模型性能。
• 伪标签化和合成数据增强有效平衡了类别和受保护属性的分布。
• Fair-SSL 是首个在软件工程领域应用半监督学习以实现机器学习模型伦理偏差缓解的工作。