[论文解读] Stable and Fair Classification

Lingxiao Huang, Nisheeth K. Vishnoi|arXiv (Cornell University)|Feb 21, 2019

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出了一种新颖的优化框架，通过在现有公平分类算法中引入以稳定性为重点的正则化项，提升了机器学习分类器的公平性和稳定性。该方法在理论上保证了统一稳定性，并在经验上将稳定性提升了最多50%，同时仅导致1.5%的准确率下降，是首个同时优化公平性与稳定性的框架。

ABSTRACT

Fair classification has been a topic of intense study in machine learning, and several algorithms have been proposed towards this important task. However, in a recent study, Friedler et al. observed that fair classification algorithms may not be stable with respect to variations in the training dataset -- a crucial consideration in several real-world applications. Motivated by their work, we study the problem of designing classification algorithms that are both fair and stable. We propose an extended framework based on fair classification algorithms that are formulated as optimization problems, by introducing a stability-focused regularization term. Theoretically, we prove a stability guarantee, that was lacking in fair classification algorithms, and also provide an accuracy guarantee for our extended framework. Our accuracy guarantee can be used to inform the selection of the regularization parameter in our framework. To the best of our knowledge, this is the first work that combines stability and fairness in automated decision-making tasks. We assess the benefits of our approach empirically by extending several fair classification algorithms that are shown to achieve the best balance between fairness and accuracy over the Adult dataset. Our empirical results show that our framework indeed improves the stability at only a slight sacrifice in accuracy.

研究动机与目标

• 解决现有公平分类算法在训练数据扰动下的不稳定性问题，这是实际部署中的关键挑战。
• 开发一个统一框架，同时确保自动化决策系统中的公平性与统一稳定性。
• 为扩展后的公平分类框架提供稳定性与泛化性的理论保证。
• 通过实证验证，正则化项可提升稳定性，而不会显著牺牲准确率或公平性。
• 通过理论上的准确率与稳定性边界，指导正则化参数的选择。

提出的方法

• 通过在现有公平分类算法的优化问题形式中添加以稳定性为重点的正则化项，扩展其目标函数。
• 以统一稳定性为核心度量标准，定义为在相差一个样本的数据集上训练的分类器之间风险的l∞-距离的最大值。
• 采用受统一稳定性理论启发的正则化方法，理论分析表明在弱损失函数假设下，稳定性保证为Õ(1/(λN))。
• 推导出泛化边界，将稳定性与期望风险联系起来，表明经验风险与真实风险之间的期望差异为Õ(1/(λN))。
• 在Adult数据集上，使用KAAS、ZVRG和GYF-based分类器，对不同正则化参数λ进行实证评估。
• 通过50次随机训练-测试划分中公平性度量（γ）的标准差来衡量稳定性，并报告准确率与公平性之间的权衡。

实验结果

研究问题

• RQ1 能否设计一种正则化项，在不降低公平性或准确率的前提下，提升公平分类算法的统一稳定性？
• RQ2 对于扩展后的框架，可推导出何种理论稳定性保证？其与正则化参数λ和训练集大小N的关系如何？
• RQ3 所提出的框架在实践中如何影响准确率、公平性与稳定性之间的权衡？
• RQ4 理论上的准确率边界是否可指导现实应用中正则化参数的选择？
• RQ5 该框架是否在不同公平性度量和敏感属性上更一致地提升稳定性？

主要发现

• 所提出的框架实现了Õ(1/(λN))的理论稳定性保证，对于线性模型，其紧致边界为Õ(1/√N)。
• 由于正则化导致的经验风险增加被限制在Õ(1/√N)以内，这使得可以合理选择正则化参数λ。
• 实证结果表明，公平性度量γ的标准差从λ=0时的4.1%下降至约1%（应用正则化后），表明稳定性得到提升。
• 在所有测试算法（KAAS-St、ZVRG-St、GYF-St）中，稳定性度量（stab）最高降低了50%，表明正则化显著提升了稳定性。
• 对于ZVRG-St在性别属性上的实验，λ=0.03在准确率、公平性与稳定性之间实现了比λ=0.05更好的权衡，表明存在非单调行为，需谨慎进行超参数调优。
• 该框架在公平性方面与基线方法相当或更优，KAAS-St与GYF-St在相同λ下的γ值始终低于ZVRG-St。