[论文解读] Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning

Vedant Nanda, Samuel Dooley+3 more|arXiv (Cornell University)|Jun 17, 2020

Adversarial Robustness in Machine Learning参考文献 61被引用 16

一句话总结

本文提出了鲁棒性偏见这一概念——一种深度神经网络中的不公平现象，即某些子群体（如按种族或性别划分）由于靠近决策边界，对对抗性扰动的鲁棒性较差。作者提出使用对抗性攻击和随机平滑的方法来衡量这种偏见，并通过实证研究证明，在CIFAR-10、CIFAR-100、Adience和UTKFace等主流数据集上的最先进模型中均存在鲁棒性差异，部分子群体显著更易受攻击。

ABSTRACT

Deep neural networks (DNNs) are increasingly used in real-world applications (e.g. facial recognition). This has resulted in concerns about the fairness of decisions made by these models. Various notions and measures of fairness have been proposed to ensure that a decision-making system does not disproportionately harm (or benefit) particular subgroups of the population. In this paper, we argue that traditional notions of fairness that are only based on models' outputs are not sufficient when the model is vulnerable to adversarial attacks. We argue that in some cases, it may be easier for an attacker to target a particular subgroup, resulting in a form of extit{robustness bias}. We show that measuring robustness bias is a challenging task for DNNs and propose two methods to measure this form of bias. We then conduct an empirical study on state-of-the-art neural networks on commonly used real-world datasets such as CIFAR-10, CIFAR-100, Adience, and UTKFace and show that in almost all cases there are subgroups (in some cases based on sensitive attributes like race, gender, etc) which are less robust and are thus at a disadvantage. We argue that this kind of bias arises due to both the data distribution and the highly complex nature of the learned decision boundary in the case of DNNs, thus making mitigation of such biases a non-trivial task. Our results show that robustness bias is an important criterion to consider while auditing real-world systems that rely on DNNs for decision making. Code to reproduce all our results can be found here: \url{https://github.com/nvedant07/Fairness-Through-Robustness}

研究动机与目标

• 识别并定义深度学习中一种新的不公平形式——鲁棒性偏见，即由于子群体靠近决策边界，导致其对对抗性扰动的鲁棒性较差。
• 解决衡量鲁棒性偏见的挑战，该挑战因深度神经网络的非凸性和复杂决策边界而变得困难。
• 通过实证方法调查在真实世界数据集（如CIFAR-10、CIFAR-100、Adience和UTKFace）上训练的最先进模型中是否存在鲁棒性偏见。
• 评估正则化技术是否能够缓解鲁棒性偏见，同时强调缓解措施必须置于更广泛的社会与伦理框架中进行考量。
• 倡导在对深度神经网络进行审计时，不仅关注输出公平性，也关注鲁棒性公平性，尤其是在高风险的实际应用场景中。

提出的方法

• 将鲁棒性偏见定义为不同人口子群体中数据点到模型决策边界的平均距离差异。
• 使用对抗性攻击（如PGD和AutoAttack）来估计改变预测所需的最小扰动，作为到决策边界距离的代理指标。
• 应用随机平滑通过在扰动输入上平均预测结果，以提高单个数据点鲁棒性估计的可靠性。
• 将可度量的鲁棒性偏见分数定义为：在子群体与数据集其余部分之间，具有较大鲁棒性距离（超过阈值τ）的正确分类样本比例的绝对差值。
• 提出一种正则化训练目标，对少数群体与多数群体之间鲁棒性差异进行惩罚，旨在训练过程中最小化鲁棒性偏见。
• 在多个模型和数据集上实现并评估该正则化方法，以评估其在减少鲁棒性偏见方面的有效性。

实验结果

研究问题

• RQ1 在最先进深度神经网络中，由敏感属性（如种族、性别）定义的子群体是否在对抗性扰动的鲁棒性上表现出显著差异？
• RQ2 对抗性攻击和随机平滑在高度非凸的深度神经网络中，能否可靠估计数据点到决策边界的距离？
• RQ3 鲁棒性偏见与数据分布和模型架构有何关联？学习过程在其中起到什么作用？
• RQ4 标准正则化技术能否有效减少鲁棒性偏见？此类方法存在哪些局限性？
• RQ5 鲁棒性偏见是否是一个有意义且可度量的公平性审计标准，超越传统的基于输出的公平性度量？

主要发现

• 在CIFAR-10、CIFAR-100、Adience和UTKFace上的几乎所有评估的最先进模型中均存在鲁棒性偏见，部分子群体始终更接近决策边界。
• 在UTKFace和Adience数据集中，按种族和性别划分的子群体表现出显著更低的鲁棒性，部分子群体对对抗性攻击的脆弱性比其他子群体高出最多20%。
• 使用对抗性攻击和随机平滑可实现对鲁棒性距离的可靠估计，即使在高度非凸的深度神经网络中亦然。
• 基于鲁棒性偏见分数的正则化可减少子群体间鲁棒性的差异，证明通过模型训练修改可实现偏见缓解。
• 鲁棒性偏见并非仅由数据不平衡引起，而是源于数据分布与深度神经网络学习到的复杂非线性决策边界之间的相互作用。
• 研究发现，即使模型在预测准确率上表现公平，仍可能表现出显著的鲁棒性差异，凸显将鲁棒性作为公平性标准的必要性。