[论文解读] A calibrated BISG for inferring race from surname and geolocation

Philip Greengard, Andrew Gelman|arXiv (Cornell University)|Apr 18, 2023

Names, Identity, and Discrimination Research被引用 4

一句话总结

本文提出了一种基于raking的校准方法，显著改善了贝叶斯改进姓氏地理定位法（BISG），通过纠正BISG因对种族给定条件下姓氏与地理位置的条件独立性假设存在缺陷而引发的系统性偏差。该方法在选民登记数据上提升了准确性和校准度，使在白人占多数的县份中，西班牙裔和亚裔太平洋岛民（API）人口的漏估率分别降低了25%和15%。

ABSTRACT

Bayesian Improved Surname Geocoding (BISG) is a ubiquitous tool for predicting race and ethnicity using an individual's geolocation and surname. Here we demonstrate that statistical dependence of surname and geolocation within racial/ethnic categories in the United States results in biases for minority subpopulations, and we introduce a raking-based improvement. Our method augments the data used by BISG--distributions of race by geolocation and race by surname--with the distribution of surname by geolocation obtained from state voter files. We validate our algorithm on state voter registration lists that contain self-identified race/ethnicity.

研究动机与目标

• 识别并纠正BISG因假设在给定种族条件下姓氏与地理位置条件独立而引发的系统性偏差。
• 提升在白人人口密度较高的地区中对代表性不足的子群体的种族/族裔推断准确性。
• 开发一种简单、可解释且广泛适用的校准方法，在保持BISG可访问性的同时提升其性能。
• 在佛罗里达州和北卡罗来纳州的真实选民登记数据上验证改进后的方法，其中种族/族裔信息已标注。
• 证明BISG的独立性假设会导致少数群体的一致性漏估，从而损害下游应用中的公平性。

提出的方法

• 应用raking调整BISG预测结果，使不同地理区域的估计种族/族裔分布与已知的、来自标注选民数据的边际值相匹配。
• 使用相同的标注选民登记数据集进行训练和验证，以隔离BISG条件独立性假设的影响。
• 通过迭代调整概率，使每个地理单元中的预测种族/族裔分布与已知的总体人口分布相匹配，从而对BISG预测进行校准。
• 在与验证所用数据相同的样本上，使用精确的人口普查因子构建一个完全自洽的BISG模型，从而消除分布不匹配问题。
• 通过绝对误差和相对误差指标，在各县比较raking校准预测与标准BISG的性能表现。
• 利用子样本抽样和校准图评估最坏情况下的校准偏差，并评估不同子群体下的稳健性。

实验结果

研究问题

• RQ1 BISG在给定种族条件下对姓氏与地理位置的条件独立性假设是否会导致种族/族裔估计中的系统性偏差？
• RQ2 BISG在不同种族构成的地理区域中对少数族裔子群体的漏估情况如何变化？
• RQ3 基于raking的校准方法是否能显著提升BISG的准确性和校准度，而无需依赖敏感个人数据？
• RQ4 BISG在估计子群体规模方面的误差在多大程度上影响选举法、医疗保健和信贷等下游应用？
• RQ5 BISG中的偏差是否在不同州和人口背景下保持一致，能否通过已知的人口边际数据加以纠正？

主要发现

• 在佛罗里达州，当注册选民中非西班牙裔白人占比至少达到85%的县份中，BISG对西班牙裔人口的估计低了25%，对亚裔太平洋岛民（API）人口的估计低了15%。
• 与标准BISG相比，基于raking的校准方法在佛罗里达州和北卡罗来纳州的所有县份中，显著降低了子群体估计的绝对误差和相对误差。
• 所提出的方法通过使预测概率与已知的人口边际值对齐，改善了校准度，减少了在预测概率区间内最坏情况下的校准偏差。
• BISG的条件独立性假设导致了持续且系统性的误差，这些误差并非随机，尤其对小型和少数族裔子群体影响显著。
• 基于raking的方法保持了可解释性，且无需额外敏感数据，因此适用于公平性敏感领域中的部署。
• 本研究通过在相同标注数据集上进行训练和验证，隔离了BISG独立性假设的影响，揭示了此前未被测量的偏差来源。