[论文解读] How Costly is Noise? Data and Disparities in Consumer Credit

Laura Blattner, Scott Nelson|arXiv (Cornell University)|May 17, 2021

Housing Market and Economics参考文献 49被引用 13

一句话总结

本文表明，由于基础信用报告数据的缺陷，而非评分模型本身的问题，信用评分对历史上被服务不足的群体——尤其是少数族裔和低收入人群——在预测违约风险方面具有更高的统计噪声。通过估计美国抵押贷款市场的结构模型，作者发现，若使信用评分的精确度均等化，可将贷款审批率差异和信贷错配减少约50%，凸显数据质量是信用不平等的关键驱动因素。

ABSTRACT

We show that lenders face more uncertainty when assessing default risk of historically under-served groups in US credit markets and that this information disparity is a quantitatively important driver of inefficient and unequal credit market outcomes. We first document that widely used credit scores are statistically noisier indicators of default risk for historically under-served groups. This noise emerges primarily through the explanatory power of the underlying credit report data (e.g., thin credit files), not through issues with model fit (e.g., the inability to include protected class in the scoring model). Estimating a structural model of lending with heterogeneity in information, we quantify the gains from addressing these information disparities for the US mortgage market. We find that equalizing the precision of credit scores can reduce disparities in approval rates and in credit misallocation for disadvantaged groups by approximately half.

研究动机与目标

• 调查在美国抵押贷款市场中，信用评分对历史上被服务不足群体的违约风险预测可靠性是否更低。
• 确定信用评分在这些群体中预测能力下降的原因是否源于评分算法的缺陷，或基础信用报告数据的不足。
• 量化信息差异对信贷获取和配置效率的经济影响。
• 评估改善弱势借款人数据质量在减少信贷市场差异方面的潜在收益。
• 评估机器学习技术的进步是否足以克服这些差异，或是否需要对数据收集结构进行根本性改革。

提出的方法

• 作者将来自TransUnion的5000万消费者的匿名消费者信用报告数据（大规模面板）与公开的产权转让数据、贷款交易数据、贷款发起方数据，以及来自Infutor的包含社会经济特征的营销数据集进行合并。
• 采用工具变量策略，识别边缘被拒申请人的未观测违约风险，从而估计不同群体的模型拟合度与错误率。
• 通过简化形式分析，比较不同人口群体中VantageScore 3.0的R²与AUC，量化预测能力的差异。
• 应用先进的机器学习模型，以分离出建模偏差（算法性）与数据偏差（信用报告质量）对观察到的表现差距的贡献。
• 估计一个使用异质信息来源的、基于竞争性贷款人的结构模型，通过边际借款人与平均借款人之间的差异及逆向回归检验，推断信息精确度。
• 进行反事实模拟，以估计使信用评分精确度均等化对审批率差异和信贷错配的影响。

实验结果

研究问题

• RQ1 广泛使用的信用评分在多大程度上对少数族裔和低收入借款人预测违约风险的准确性更低？
• RQ2 对被服务不足群体而言，信用评分预测准确性下降的原因是评分算法的缺陷，还是基础信用报告数据的不足？
• RQ3 在信贷获取与错配方面的观察到的差异中，有多少可归因于不同人口群体间的信息精确度差异？
• RQ4 若使信用评分的精确度在各群体间均等化，将带来多大的经济与公平性收益？
• RQ5 仅通过改进机器学习模型能否解决这些差异，还是必须进行数据质量改革？

主要发现

• 信用评分对少数族裔和低收入借款人的预测能力显著较低，与非少数族裔群体相比，AUC差距达7–9个百分点，R²差距达16–18个百分点。
• 信用评分表现差距的大部分可归因于数据偏差——特别是信用报告数据的稀疏性和低质量——而非评分算法带来的建模偏差。
• 约一半的整体信用评分解释力差距可由可观测的数据特征（如档案稀疏、数据稀疏）解释。
• 使信用评分精确度均等化可将贷款审批率差异减少约50%，其中50%的减少源于少数族裔申请人中更少的I类错误（低效拒绝）。
• 对低收入申请人而言，审批率差异的减少较为有限（0.8个百分点），主要由于II类错误（低效批准）的减少，表明信号清晰度提高带来了效率提升。
• 结构模型估计表明，少数族裔借款人的信用评分噪声标准差约为非少数族裔借款人的两倍，这一差异解释了约一半估计的信贷获取与错配差异。