[论文解读] Dynamic Modeling and Equilibria in Fair Decision Making

Joshua Williams, J. Zico Kolter|arXiv (Cornell University)|Nov 15, 2019

Ethics and Social Impacts of AI参考文献 28被引用 5

一句话总结

本文提出一种连续的、以贝塔分布为基准的人口模型，用于研究动态决策中的长期公平性，例如贷款审批。研究发现，尽管不受约束的政策可能导致分叉（即富者愈富、贫者愈贫），但诸如机会均等或人口均等之类的公平约束会使各群体收敛至同一平衡点——尽管在公平政策下，若对还款概率的估计不准确，仍可能导致发散。

ABSTRACT

Recent studies on fairness in automated decision making systems have both investigated the potential future impact of these decisions on the population at large, and emphasized that imposing ''typical'' fairness constraints such as demographic parity or equality of opportunity does not guarantee a benefit to disadvantaged groups. However, these previous studies have focused on either simple one-step cost/benefit criteria, or on discrete underlying state spaces. In this work, we first propose a natural continuous representation of population state, governed by the Beta distribution, using a loan granting setting as a running example. Next, we apply a model of population dynamics under lending decisions, and show that when conditional payback probabilities are estimated correctly 1) ``optimal'' behavior by lenders can lead to ''Matthew Effect'' bifurcations (i.e., ''the rich get richer and the poor get poorer''), but that 2) many common fairness constraints on the allowable policies cause groups to converge to the same equilibrium point. Last, we contrast our results in the case of misspecified conditional probability estimates with prior work, and show that for this model, different levels of group misestimation guarantees that even fair policies lead to bifurcations. We illustrate some of the modeling conclusions on real data from credit scoring.

研究动机与目标

• 将自动化决策中的人口动态建模为由贝塔分布控制的连续时间过程，捕捉群体层面的还款倾向。
• 研究公平约束如何影响迭代决策系统中的长期结果，特别是是否会导致群体均衡的收敛或发散。
• 考察对条件还款概率的误估计对公平结果的影响，尤其关注当模型系统性地低估代表性不足群体的风险时的影响。
• 利用公开的信用评分数据评估这些动态在现实世界中的影响，衡量不同公平定义下政策的表现。
• 挑战既有假设，表明即使在公平政策下，若不同群体间的估计误差存在差异，也可能无法实现收敛。

提出的方法

• 使用由均值（μ）和聚集度（c）参数化的贝塔分布来建模人口状态，表示个体还款概率的分布。
• 将公平约束（如机会均等、人口均等）定义为贝塔分布累积分布函数上的解析条件。
• 构建一个动力系统，其中贷款决策通过基于预期回报和群体层面动态的确定性更新规则来更新人口状态。
• 利用现实世界的信用评分数据，估计非西班牙裔白人和黑人申请人的μ和c，并模拟随时间推移的政策轨迹。
• 分析在无约束、公平和盲策略下的均衡行为，比较收敛性、分叉现象及长期福利结果。
• 通过在不同群体间改变条件还款概率的估计值来引入误估计，以评估公平保证的稳健性。

实验结果

研究问题

• RQ1 在动态决策系统中，公平约束是否能导致劣势群体与优势群体长期收敛至同一均衡？
• RQ2 不同的公平定义（如机会均等与人口均等）如何影响群体层面还款概率随时间的演变？
• RQ3 估计误差——尤其是群体间差异化的误估计——在多大程度上会破坏公平约束在实现公平结果方面的有效性？
• RQ4 在何种条件下，无约束的利润最大化政策在长期群体福利方面会优于或劣于公平政策？
• RQ5 现实世界中的信用评分数据模式在多大程度上反映了或挑战了所提出的动态公平模型的理论预测？

主要发现

• 无约束的利润最大化政策会导致分叉，即优势群体改善而劣势群体停滞，从而产生马太效应。
• 机会均等和人口均等等公平约束会使两个群体均收敛至同一正向均衡，即使在过渡期间出现暂时性损害。
• 盲策略（即忽略受保护属性的策略）会使两个群体的长期结果更差，表明缺乏恰当建模的公平性可能适得其反。
• 人口均等会导致优势群体的暂时损害，但最终为所有人带来更优的长期均衡，表明短期成本可能带来长期收益。
• 当条件还款概率被误估计时——尤其是对历史上处于劣势的群体存在更高误差率时——公平政策将无法确保收敛，导致持续的分叉。
• 该模型表明，即使在公平政策约束下，准确估计群体层面的分布也是实现长期公平结果的关键。