[论文解读] Modeling Techniques for Machine Learning Fairness: A Survey

Mingyang Wan, Daochen Zha+2 more|arXiv (Cornell University)|Nov 4, 2021

Ethics and Social Impacts of AI参考文献 68被引用 10

一句话总结

本综述全面回顾了输入处理阶段机器学习公平性技术，将其分类为显式方法（直接在优化过程中引入公平性约束）和隐式方法（通过改进潜在表示实现）。该综述强调了这些方法在缓解差异性影响和差异性对待方面的有效性，并指出了关键挑战，如多属性公平性、可解释性整合以及性能权衡问题，主张建立标准化基准并开展更深入的理论分析。

ABSTRACT

Machine learning models are becoming pervasive in high-stakes applications. Despite their clear benefits in terms of performance, the models could show discrimination against minority groups and result in fairness issues in a decision-making process, leading to severe negative impacts on the individuals and the society. In recent years, various techniques have been developed to mitigate the unfairness for machine learning models. Among them, in-processing methods have drawn increasing attention from the community, where fairness is directly taken into consideration during model design to induce intrinsically fair models and fundamentally mitigate fairness issues in outputs and representations. In this survey, we review the current progress of in-processing fairness mitigation techniques. Based on where the fairness is achieved in the model, we categorize them into explicit and implicit methods, where the former directly incorporates fairness metrics in training objectives, and the latter focuses on refining latent representation learning. Finally, we conclude the survey with a discussion of the research challenges in this community to motivate future exploration.

研究动机与目标

• 系统性地对机器学习中的输入处理公平性缓解技术进行分类与分析。
• 研究公平性在模型架构不同层级的实现方式——显式地通过目标函数，或隐式地通过表示学习。
• 识别多公平性场景、与可解释性整合以及公平性-性能权衡中的开放性挑战。
• 倡导建立标准化数据集与基准，以推进公平性算法的经验评估。
• 通过指出当前输入处理公平性方法在理论与实践上的空白，激发未来研究。

提出的方法

• 根据公平性在模型架构中被施加的位置，将输入处理公平性方法分类为显式与隐式。
• 显式方法将公平性约束或正则化项（如协方差、相关性）直接整合到模型的优化目标中。
• 隐式方法通过架构设计专注于学习公平表示，例如对抗训练或对比学习。
• 使用公平性度量（如人口均等、机会均等、几率均等）作为约束构建的设计原则。
• 应用表示层面的去偏技术，对预训练模型进行微调，而无需完全重新训练。
• 提出约束优化框架，以同时满足群体层面与个体层面的公平性目标。

实验结果

研究问题

• RQ1 如何通过输入处理技术在训练过程中系统性地将公平性融入机器学习模型？
• RQ2 显式与隐式输入处理公平性方法之间的关键差异与权衡是什么？
• RQ3 在敏感属性不可用或涉及多个属性的情况下，现有输入处理方法在哪些场景下会失效？
• RQ4 如何将可解释性技术与公平性结合，以提升模型透明度并增强偏见检测？
• RQ5 在何种条件下，公平性改进可以与性能提升共存，甚至促进性能提升，而非导致性能下降？

主要发现

• 显式输入处理方法通过公平性感知正则化，直接约束模型预测与敏感属性的独立性，有效降低偏见。
• 隐式方法（如对抗去偏与对比学习）成功地通过改进潜在表示来减少偏见，而无需修改预测目标。
• 输入处理技术可对 BERT 等预训练模型进行去偏，且仅需极少重新训练，从而在自然语言处理应用中实现高效的公平性缓解。
• 并不存在普遍的公平性-性能权衡；在某些情况下（如半监督学习），公平性与准确性可相互促进。
• 将可解释性与公平性结合具有潜力，因为特征重要性分析可揭示敏感属性的影响，从而指导正则化策略。
• 当前研究缺乏大规模、标准化的带人口属性的数据集，限制了公平性算法的评估与比较。