[论文解读] FairNeuron: Improving Deep Neural Network Fairness with Adversary Games on Selective Neurons

Xuanqi Gao, Juan Zhai+4 more|arXiv (Cornell University)|Apr 6, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

FairNeuron 是一种轻量级、事后处理的方法，通过路径分析和选择性微调，识别并有选择地丢弃那些过度依赖敏感属性的冲突路径中的神经元，从而提升深度神经网络的公平性。该方法在不重新训练整个模型的情况下，有效平衡了公平性与准确性，在多个数据集上展现出优于最先进方法的效率和可扩展性。

ABSTRACT

With Deep Neural Network (DNN) being integrated into a growing number of critical systems with far-reaching impacts on society, there are increasing concerns on their ethical performance, such as fairness. Unfortunately, model fairness and accuracy in many cases are contradictory goals to optimize. To solve this issue, there has been a number of work trying to improve model fairness by using an adversarial game in model level. This approach introduces an adversary that evaluates the fairness of a model besides its prediction accuracy on the main task, and performs joint-optimization to achieve a balanced result. In this paper, we noticed that when performing backward propagation based training, such contradictory phenomenon has shown on individual neuron level. Based on this observation, we propose FairNeuron, a DNN model automatic repairing tool, to mitigate fairness concerns and balance the accuracy-fairness trade-off without introducing another model. It works on detecting neurons with contradictory optimization directions from accuracy and fairness training goals, and achieving a trade-off by selective dropout. Comparing with state-of-the-art methods, our approach is lightweight, making it scalable and more efficient. Our evaluation on 3 datasets shows that FairNeuron can effectively improve all models' fairness while maintaining a stable utility.

研究动机与目标

• 为解决深度神经网络中公平性与准确率之间的权衡问题，尤其是当模型公平性与实用性目标相互冲突时。
• 检测那些在预测中过度依赖敏感属性（如种族、性别）的神经元和路径，从而导致不公平性。
• 开发一种轻量级、高效且可扩展的方法，用于修复公平性问题，而无需重新训练整个模型或引入辅助网络。
• 通过路径分析和选择性丢弃，实现自动化的、训练后公平性修复，同时保持模型的实用性。

提出的方法

• 使用神经网络切片技术识别冲突路径——即那些神经元选择性地依赖敏感属性而非可区分特征的子网络。
• 应用路径分析，根据输入样本在冲突路径上的激活情况对样本进行聚类，识别出触发偏见的输入。
• 通过在反向传播过程中丢弃冲突路径外的神经元，执行选择性微调，迫使模型重新考虑非敏感特征。
• 利用基于梯度的分析，检测在准确率与公平性目标之间存在优化方向冲突的神经元。
• 引入一种轻量级、与模型无关的修复流程，在训练后操作，避免使用复杂的对抗训练或数据增强。
• 采用双目标优化：在最小化不公平性的同时，通过有针对性地抑制神经元来维持预测准确率。

实验结果

研究问题

• RQ1 我们能否检测到 DNN 中那些因过度依赖敏感属性而对不公平预测有贡献的特定神经元和路径？
• RQ2 如何在不降低模型准确率或不进行完整重训的情况下提升公平性？
• RQ3 基于路径分析的选择性神经元丢弃是否能以轻量且可扩展的方式有效缓解公平性问题？
• RQ4 FairNeuron 在公平性提升和效率方面与最先进公平性修复方法相比表现如何？

主要发现

• FairNeuron 在三个基准数据集上的所有评估模型中均显著提升了公平性，且未降低预测准确率。
• 该方法在效率和可扩展性方面优于最先进方法（如 FAD 和 Ethical Adversaries），在公平性提升方面表现更优。
• 通过冲突路径分析进行的选择性微调减少了对敏感属性的依赖，尤其在全连接层中效果显著，而这些层正是最需要提升公平性的部分。
• 该方法轻量且与模型无关，适用于大规模 DNN，其中对抗训练或数据增强不切实际。
• 评估结果表明，不同敏感属性群体在各类公平性度量（包括人口均等性和机会均等性）上均保持了稳定的性能。