[论文解读] Fair Models in Credit: Intersectional Discrimination and the Amplification of Inequity

Savina Kim, Stefan Lessmann+2 more|arXiv (Cornell University)|Aug 1, 2023

Housing, Finance, and Neoliberalism被引用 5

一句话总结

本研究利用真实的西班牙另类信用数据，调查了微金融信贷评分中的交叉歧视问题，揭示了机器学习模型不仅会加剧基于性别、种族等受法律保护特征的不公，还会因多重身份的组合效应，对具有交叉身份的个体（如多个孩子的单身母亲）造成不成比例的不利影响。尽管在总体层面上实施了公平性措施，但由于敏感属性的组合效应，群体内部的不平等依然显现，暴露出当前公平性框架的系统性缺陷。

ABSTRACT

The increasing usage of new data sources and machine learning (ML) technology in credit modeling raises concerns with regards to potentially unfair decision-making that rely on protected characteristics (e.g., race, sex, age) or other socio-economic and demographic data. The authors demonstrate the impact of such algorithmic bias in the microfinance context. Difficulties in assessing credit are disproportionately experienced among vulnerable groups, however, very little is known about inequities in credit allocation between groups defined, not only by single, but by multiple and intersecting social categories. Drawing from the intersectionality paradigm, the study examines intersectional horizontal inequities in credit access by gender, age, marital status, single parent status and number of children. This paper utilizes data from the Spanish microfinance market as its context to demonstrate how pluralistic realities and intersectional identities can shape patterns of credit allocation when using automated decision-making systems. With ML technology being oblivious to societal good or bad, we find that a more thorough examination of intersectionality can enhance the algorithmic fairness lens to more authentically empower action for equitable outcomes and present a fairer path forward. We demonstrate that while on a high-level, fairness may exist superficially, unfairness can exacerbate at lower levels given combinatorial effects; in other words, the core fairness problem may be more complicated than current literature demonstrates. We find that in addition to legally protected characteristics, sensitive attributes such as single parent status and number of children can result in imbalanced harm. We discuss the implications of these findings for the financial services industry.

研究动机与目标

• 调查性别、年龄、婚姻状况、单亲身份及子女数量等交叉身份如何影响自动化决策系统中的信贷可得性。
• 评估信贷评分中的公平性是否在聚合层面测量时显得表面化，尽管在子群体层面不公现象日益严重。
• 证明除法律保护属性外的敏感属性（如单亲身份和子女数量）可能导致算法信贷分配中的不均衡伤害。
• 揭示当前监管框架在应对金融科技和另类信用数据系统中交叉歧视问题上的局限性。
• 倡导在机器学习中采用更细致的公平性视角，以考虑信贷风险建模中多重、交叉的身份。

提出的方法

• 本研究使用来自西班牙微金融平台的真实数据集，包含超过10万笔无担保微贷款，以分析信贷分配模式。
• 通过使用另类信用数据（包括非传统社会人口学特征）训练机器学习模型，预测信贷资格。
• 研究人员采用交叉分析方法，评估如年轻单亲母亲带有多名子女等组合身份下的公平性。
• 通过比较不同交叉人口子群体间的预测误差和审批率，评估公平性。
• 通过分析看似中立的特征（如邮政编码、教育水平）是否作为受保护或敏感属性的代理变量，评估代理歧视。
• 对比传统信贷模型与基于另类数据增强的模型在公平性结果上的差异，以识别不公的出现位置。

实验结果

研究问题

• RQ1 在自动化微金融贷款系统中，性别、年龄、婚姻状况、单亲身份及子女数量等交叉身份如何影响信贷可得性？
• RQ2 当在总体层面上测量时，算法公平性在多大程度上显得表面化，尽管在子群体层面上存在显著不公？
• RQ3 除法律保护属性外的敏感属性（如单亲身份和家庭规模）是否可能导致信贷评分模型中的不均衡伤害？
• RQ4 与传统信贷评估方法相比，另类信用数据和复杂建模过程在多大程度上会放大或掩盖交叉歧视？
• RQ5 当在模型输入中使用受保护特征的代理变量时，监管框架在多大程度上未能应对交叉歧视？

主要发现

• 尽管总体层面的公平性表现尚可，但由于交叉身份的组合效应，子群体层面的信贷审批率和预测误差仍存在显著差异。
• 即使在建模中未直接使用受保护特征，年轻、单身母亲且子女较多的个体仍遭受最高程度的不公平对待。
• 单亲身份和子女数量等敏感属性导致伤害分配不均，表明公平性框架必须超越法律保护类别。
• 邮政编码、收入和教育水平等代理变量可能作为结构性歧视的代理，即使在训练中排除了受保护属性，仍会导致歧视性结果。
• 本研究证明，另类信用数据和先进机器学习模型可能通过捕捉复杂且交叉的劣势模式，无意中加剧不公。
• 当前监管标准不足以应对交叉歧视，因其未能考虑多个敏感属性及其代理变量的叠加效应。