[论文解读] CertiFair: A Framework for Certified Global Fairness of Neural Networks

Haitham Khedr, Yasser Shoukry|arXiv (Cornell University)|May 20, 2022

Ethics and Social Impacts of AI被引用 6

一句话总结

CertiFair 提出了一种针对 ReLU 神经网络的可靠且完备的验证框架，通过产品网络方法实现对所有相似输入对的公平性检查，从而实现认证的全局个体公平性。该框架还提出了一种公平性正则化训练方法，在仅造成最小准确率下降的前提下，将全局公平性提升高达 96%，从而在不依赖经验验证的情况下实现可证明的公平性保证。

ABSTRACT

We consider the problem of whether a Neural Network (NN) model satisfies global individual fairness. Individual Fairness suggests that similar individuals with respect to a certain task are to be treated similarly by the decision model. In this work, we have two main objectives. The first is to construct a verifier which checks whether the fairness property holds for a given NN in a classification task or provide a counterexample if it is violated, i.e., the model is fair if all similar individuals are classified the same, and unfair if a pair of similar individuals are classified differently. To that end, We construct a sound and complete verifier that verifies global individual fairness properties of ReLU NN classifiers using distance-based similarity metrics. The second objective of this paper is to provide a method for training provably fair NN classifiers from unfair (biased) data. We propose a fairness loss that can be used during training to enforce fair outcomes for similar individuals. We then provide provable bounds on the fairness of the resulting NN. We run experiments on commonly used fairness datasets that are publicly available and we show that global individual fairness can be improved by 96 % without significant drop in test accuracy.

研究动机与目标

• 为解决神经网络分类器在高风险决策系统中缺乏可证明的全局公平性保证的问题。
• 开发一种可靠且完备的验证器，用于检查在给定公平性度量下，所有相似输入对是否受到相同对待。
• 设计一种训练过程，即使在训练数据存在偏差的情况下，也能对相似个体强制实施公平性。
• 提供独立于数据分布假设或采样方式的公平性形式化证书。
• 通过扩展至整个输入域，克服局部公平性验证的局限性，实现全局公平性。

提出的方法

• 构建一个产品神经网络，接收输入对 (x, x')，并独立计算每个输入的输出，从而实现对所有此类输入对的公平性检查。
• 采用受超性质检查启发的关系验证技术，形式化验证所有特征距离在 δi 以内的输入是否被分类为相同结果。
• 基于公平性违规的上界定义公平性损失函数，该函数在训练期间作为正则化项，以促进公平性。
• 利用基于凸松弛的验证技术，使验证器能够扩展至更大规模的网络，同时保持可靠性和完备性。
• 将产品网络与公平性正则化器集成到训练流程中，确保在不损害测试准确率的前提下实现认证的公平性。
• 在训练后应用验证器以验证全局公平性，确保所有相似输入均得到公平对待。

实验结果

研究问题

• RQ1 形式化验证框架能否实现对 ReLU 神经网络中全局个体公平性的可靠且完备的认证？
• RQ2 如何在训练过程中强制实施公平性，以确保即使在训练数据存在偏差的情况下也能实现可证明的公平性？
• RQ3 在真实世界公平性数据集上，公平性最多可提升多少，而不会显著降低模型准确率？
• RQ4 该框架能否检测到局部验证方法所遗漏的全局公平性违规？
• RQ5 与现有公平性缓解技术相比，所提出的公平性正则化器在可扩展性和可证明保证方面表现如何？

主要发现

• 所提出的验证器实现了全局个体公平性的可靠且完备的验证，确保公平性评估中不存在假阴性或假阳性。
• 公平性正则化训练过程在标准公平性数据集上将全局公平性最高提升了 96%，同时保持了高测试准确率。
• 当公平性正则化参数为 5×10⁻² 时，该框架在测试数据集中实现了 100% 的认证全局公平性。
• 与局部公平性验证技术相比，该方法能够捕捉整个输入域中的公平性违规，而不仅限于单个输入周围。
• 即使在强公平性约束下，该框架仍保持高测试准确率（例如，当 λf = 1×10⁻⁴ 时为 74.33%），表明性能损失极小。
• 产品网络与凸松弛技术的结合，使大规模 ReLU 网络的可扩展且精确的公平性验证成为可能。