[论文解读] NeuronFair: Interpretable White-Box Fairness Testing through Biased Neuron Identification

Haibin Zheng, Zhiqing Chen+7 more|arXiv (Cornell University)|Dec 25, 2021

Ethics and Social Impacts of AI被引用 6

一句话总结

NeuronFair 是一种白盒公平性测试框架，通过识别深度神经网络（DNNs）中的偏见神经元，实现对个体歧视实例（IDIs）的高效解释与生成。通过结合动量辅助梯度搜索的神经元级可解释性，其在结构化数据上的 IDI 生成数量比最先进方法高出 5.84 倍，速度提升 534.56%，同时支持结构化与非结构化数据（如图像和文本）。

ABSTRACT

Deep neural networks (DNNs) have demonstrated their outperformance in various domains. However, it raises a social concern whether DNNs can produce reliable and fair decisions especially when they are applied to sensitive domains involving valuable resource allocation, such as education, loan, and employment. It is crucial to conduct fairness testing before DNNs are reliably deployed to such sensitive domains, i.e., generating as many instances as possible to uncover fairness violations. However, the existing testing methods are still limited from three aspects: interpretability, performance, and generalizability. To overcome the challenges, we propose NeuronFair, a new DNN fairness testing framework that differs from previous work in several key aspects: (1) interpretable - it quantitatively interprets DNNs' fairness violations for the biased decision; (2) effective - it uses the interpretation results to guide the generation of more diverse instances in less time; (3) generic - it can handle both structured and unstructured data. Extensive evaluations across 7 datasets and the corresponding DNNs demonstrate NeuronFair's superior performance. For instance, on structured datasets, it generates much more instances (~x5.84) and saves more time (with an average speedup of 534.56%) compared with the state-of-the-art methods. Besides, the instances of NeuronFair can also be leveraged to improve the fairness of the biased DNNs, which helps build more fair and trustworthy deep learning systems.

研究动机与目标

• 解决现有 DNN 公平性测试方法缺乏可解释性的问题，这些方法通常无法解释决策为何不公平。
• 克服当前方法在生成多样化且高效的个体歧视实例（IDIs）方面的局限性，特别是在高维、非线性 DNN 中。
• 提升对非结构化数据（如图像、文本）的泛化能力，因为在这些数据中对特征层面敏感属性的操控具有挑战性。
• 通过引入动量和动态损失优化，降低时间成本并避免 IDI 生成过程中的梯度消失问题。
• 通过提供关于 DNN 中偏见神经元行为的可操作洞察，实现实际的公平性评估与缓解。

提出的方法

• 利用基于激活的解释方法，在 DNN 的每一层隐藏层中识别偏见神经元，量化其对不公平预测的贡献。
• 提出 AS 曲线与 AUC 指标，对神经元与层级别的歧视严重程度进行定量测量。
• 采用两阶段 IDI 生成策略：第一阶段通过动量加速的梯度搜索在全局范围内探索多样化的输入区域；第二阶段通过动态损失函数优化，对实例进行精细化调整以增强多样性。
• 对输入特征应用梯度引导的扰动，对非结构化数据（如图像像素或文本的词元级修改）进行特殊处理，以改变敏感属性。
• 采用在优化过程中自适应调整的动态损失函数，以避免陷入局部极小值并缓解梯度消失问题。
• 通过将敏感属性变化映射为有意义的输入扰动（例如，通过像素级编辑在人脸图像中切换性别），同时支持结构化与非结构化数据。

实验结果

研究问题

• RQ1 能否系统性地识别 DNN 中的偏见神经元，并对其进行定量解释以阐明公平性违规的原因？
• RQ2 神经元级别的可解释性是否能提升 DNN 中生成的个体歧视实例（IDIs）的有效性与多样性？
• RQ3 所提出的方法能否在结构化与非结构化数据（包括图像与文本）上高效生成 IDIs？
• RQ4 NeuronFair 在 IDI 生成速度、数量与多样性方面相较于最先进公平性测试方法表现如何？
• RQ5 所生成的 IDIs 是否可用于通过微调或缓解策略提升原始 DNN 的公平性？

主要发现

• NeuronFair 在结构化数据集上，平均生成的个体歧视实例（IDIs）数量比最先进方法高出 5.84 倍。
• 与 SOTA 方法相比，该框架在 IDI 生成时间上实现了平均 534.56% 的加速，显著提升了效率。
• 该方法成功处理了非结构化数据（如人脸图像），使计算机视觉应用中的公平性测试成为可能，而此前的方法在该领域均告失效。
• 基于 AUC 的歧视严重程度度量能够有效识别出对不公平预测贡献最大的层与神经元，支持针对性的模型分析。
• 使用 NeuronFair 生成的 IDIs 进行微调后，能有效提升模型公平性，证明其在构建可信 DNN 中的实际应用价值。
• 动量辅助梯度搜索与动态损失函数能有效缓解梯度消失问题，并显著提升高维空间中的实例多样性。