[论文解读] Dynamic fairness - Breaking vicious cycles in automatic decision making

Benjamin Paaßen, Astrid Bunge+3 more|arXiv (Cornell University)|Feb 1, 2019

Ethics and Social Impacts of AI参考文献 10被引用 9

一句话总结

本文提出了一种动态公平性框架，用以说明即使分类器在标准定义下完全准确且公平，自动决策系统仍可能通过反馈回路持续加剧长期不平等。研究证明，唯有人口统计均等性（demographic parity）能打破恶性循环，从而确保长期稳定且公平的结果。

ABSTRACT

In recent years, machine learning techniques have been increasingly applied in sensitive decision making processes, raising fairness concerns. Past research has shown that machine learning may reproduce and even exacerbate human bias due to biased training data or flawed model assumptions, and thus may lead to discriminatory actions. To counteract such biased models, researchers have proposed multiple mathematical definitions of fairness according to which classifiers can be optimized. However, it has also been shown that the outcomes generated by some fairness notions may be unsatisfactory. In this contribution, we add to this research by considering decision making processes in time. We establish a theoretic model in which even perfectly accurate classifiers which adhere to almost all common fairness definitions lead to stable long-term inequalities due to vicious cycles. Only demographic parity, which enforces equal rates of positive decisions across groups, avoids these effects and establishes a virtuous cycle, which leads to perfectly accurate and fair classification in the long term.

研究动机与目标

• 分析自动化决策系统中的反馈回路如何导致长期不平等的嵌入与加剧。
• 探究除人口统计均等性外的其他公平性定义是否能防止群体结果中的持续差异。
• 使用动态系统框架对分类器决策对群体成功率的长期影响进行建模。
• 识别在何种条件下，公平分类器能够实现长期稳定且公平的结果。
• 证明人口统计均等性是唯一能避免动态决策环境中不稳定反馈回路的公平性准则。

提出的方法

• 作者构建了一个动态系统模型，其中分类器决策影响受保护群体未来的成功概率。
• 定义了一种反馈机制：正面决策会提高未来成功的可能性，从而形成自我强化的循环。
• 系统使用正态分布来建模风险评分，并采用基于阈值的分类器进行决策。
• 通过雅可比矩阵（Jacobian matrices）进行稳定性分析，以评估在不同公平性定义下的平衡点。
• 模型同时评估了不良平衡点（差异持续存在）与理想平衡点（群体获得平等对待）的情形。
• 进行敏感性分析，以确定理想平衡点变得不稳定的条件，特别关注噪声水平（σ）和反馈强度（β）的影响。

实验结果

研究问题

• RQ1 即使分类器完全准确且满足常见公平性定义，是否仍可能导致长期不平等？
• RQ2 人口统计均等性在防止自动化决策系统中由反馈驱动的差异方面发挥何种作用？
• RQ3 在何种条件下，动态决策系统中的理想平衡点会变得不稳定？
• RQ4 决策与结果之间的反馈回路如何影响长期公平性？
• RQ5 为何人口统计均等性在与其他公平性概念对比时，能唯一地稳定长期结果？

主要发现

• 即使分类器完全准确且满足平等机会（equalized odds）或其他公平性定义，仍可能因反馈回路导致稳定且长期的不平等。
• 模型表明，非人口统计均等性公平定义会导致不良平衡点，使差异长期持续存在。
• 人口统计均等性是唯一能导致稳定且理想平衡点的公平性概念，使所有群体实现相等的成功率。
• 当噪声水平σ足够小时，理想平衡点会变得不稳定，表明微小扰动即可破坏公平性。
• 通过雅可比分析，数学上证明了非人口统计均等性平衡点的不稳定性，显示在特定条件下特征值的模大于1。
• 研究结果表明，即使分类器在静态公平性标准下被优化，动态反馈效应仍可能破坏公平性。