[论文解读] Black Loans Matter: Distributionally Robust Fairness for Fighting Subgroup Discrimination

Mark Weber, Mikhail Yurochkin+2 more|arXiv (Cornell University)|Nov 27, 2020

Corruption and Economic Development参考文献 15被引用 6

一句话总结

本文提出分布鲁棒公平性（DRF）以应对算法贷款中的子群歧视问题，其中群体公平性度量无法防止基于代理的偏见。通过将个体公平性原则与鲁棒优化相结合，DRF 确保在所有子群——包括受保护属性交集定义的子群——中实现公平对待，且在训练过程中无需访问敏感属性。

ABSTRACT

Algorithmic fairness in lending today relies on group fairness metrics for monitoring statistical parity across protected groups. This approach is vulnerable to subgroup discrimination by proxy, carrying significant risks of legal and reputational damage for lenders and blatantly unfair outcomes for borrowers. Practical challenges arise from the many possible combinations and subsets of protected groups. We motivate this problem against the backdrop of historical and residual racism in the United States polluting all available training data and raising public sensitivity to algorithimic bias. We review the current regulatory compliance protocols for fairness in lending and discuss their limitations relative to the contributions state-of-the-art fairness methods may afford. We propose a solution for addressing subgroup discrimination, while adhering to existing group fairness requirements, from recent developments in individual fairness methods and corresponding fair metric learning algorithms.

研究动机与目标

• 解决当前贷款公平性协议中的关键漏洞，即群体公平性度量无法防止通过代理实现的子群歧视。
• 证明即使满足群体公平性要求，算法贷款系统仍可能对受保护群体的合格借款人施加种族溢价并拒绝其申请。
• 提出从群体公平性向个体公平性转变，通过分布鲁棒公平性（DRF）实现，确保在所有子群（包括受保护属性交集）中实现公平。
• 挑战“通过无知实现公平”——即让模型对敏感属性‘视而不见’——的做法，认为其无效且可能有害，因为模型仍能通过代理学习到歧视行为。
• 倡导政策与行业改革，包括自愿纳入种族识别信息以提升公平性，并更新监管指导以涵盖子群层面的歧视问题。

提出的方法

• 将公平性建模为分布鲁棒优化问题，最小化所有子群（包括受保护属性交集定义的子群）中的最坏情况公平性违规。
• 提出一种分布鲁棒公平性（DRF）目标，通过确保在子群表示发生分布变化时，相似个体受到相似对待，从而实现个体公平性。
• 采用公平度量学习，学习反映公平约束的度量距离，使模型能够在保持性能的同时在多样化子群中实现泛化。
• 设计一种训练流程，将 DRF 作为正则化项嵌入模型优化中，确保在不访问敏感属性的情况下实现对子群差异的鲁棒性。
• 采用约束优化框架，在保持模型准确性和符合现有群体公平性标准的同时，确保所有子群的公平性。
• 重新评估对敏感属性的‘无知化’做法，认为其阻碍了可认证公平模型的发展，并助长了对结构性不公的故意忽视。

实验结果

研究问题

• RQ1 在满足统计独立性的情况下，现有的贷款群体公平性度量是否仍可能无法防止子群歧视？
• RQ2 在遵守群体公平性约束的前提下，机器学习模型在多大程度上仍能通过代理或子群层面模式实现歧视？
• RQ3 如何形式化并实现个体公平性原则，以确保在所有子群（包括受保护属性交集）中实现鲁棒公平？
• RQ4 ‘通过无知实现公平’——即隐藏敏感属性于模型之外——对检测和防止贷款中代理歧视有何影响？
• RQ5 如何更新监管与行业实践，以涵盖子群层面的歧视，并支持最先进的公平性方法的采用？

主要发现

• 即使满足群体公平性度量，算法贷款系统对购房抵押贷款仍可能施加高达 5.3 个基点的种族溢价，对再融资贷款则为 2.0 个基点。
• 尽管接受率平等性有所改善，算法模型对拉丁裔和非裔美国借款人仍显著收取高于白人借款人的更高利率，形成一种‘反向红线划定’现象。
• 使用分布鲁棒公平性（DRF）可有效减少子群层面的差异，确保对所有受保护属性组合（包括交叉子群）实现公平对待。
• 通过无知实现公平——即让模型对敏感属性‘视而不见’——无法防止代理歧视，因为模型仍能从其他特征中推断出受保护属性。
• 所提出的 DRF 框架在不损害模型性能的前提下实现了更公平的结果，且可无缝集成到现有合规流程中。
• 在模型开发中自愿纳入种族识别信息，而非强制‘无知化’，可能带来更透明、更公正的结果，尤其当与鲁棒公平约束结合时。