[论文解读] Leveraging Administrative Data for Bias Audits: Assessing Disparate Coverage with Mobility Data for COVID-19 Policy

Amanda Coston, Neel Guha+4 more|arXiv (Cornell University)|Nov 14, 2020

Imbalanced Data Classification Techniques参考文献 50被引用 64

一句话总结

本文提出使用选民登记行政数据来审计智能手机移动数据（如SafeGraph）在COVID-19政策中的种族与年龄偏差。通过将北卡罗来纳州2018年选举的个人选民投票率、种族和年龄数据与POI级移动数据关联，作者发现移动数据集中对老年人群和非白人群体存在显著代表性不足，这可能导致公共卫生资源配置失真，并加剧健康不平等。

ABSTRACT

Anonymized smartphone-based mobility data has been widely adopted in devising and evaluating COVID-19 response strategies such as the targeting of public health resources. Yet little attention has been paid to measurement validity and demographic bias, due in part to the lack of documentation about which users are represented as well as the challenge of obtaining ground truth data on unique visits and demographics. We illustrate how linking large-scale administrative data can enable auditing mobility data for bias in the absence of demographic information and ground truth labels. More precisely, we show that linking voter roll data -- containing individual-level voter turnout for specific voting locations along with race and age -- can facilitate the construction of rigorous bias and reliability tests. These tests illuminate a sampling bias that is particularly noteworthy in the pandemic context: older and non-white voters are less likely to be captured by mobility data. We show that allocating public health resources based on such mobility data could disproportionately harm high-risk elderly and minority groups.

研究动机与目标

• 为应对在COVID-19大流行期间用于高风险公共卫生政策的基于智能手机的移动数据缺乏独立验证的问题。
• 调查像SafeGraph这样的平台的移动数据是否系统性地低估了老年人群和非白人群体——这些是严重COVID-19结局的高风险群体。
• 开发一种无需依赖移动数据集本身的真实标签或人口统计信息即可审计人口统计偏差的方法。
• 展示在无法获得直接验证时，行政数据如何作为真实情况的高保真代理用于偏差审计。
• 说明依赖偏差移动数据所带来的政策后果，特别是在针对脆弱人群的资源配置决策方面。

提出的方法

• 利用北卡罗来纳州2018年大选的选民投票记录作为真实情况的代理，将个体选民数据（包括种族、年龄和投票地点）与POI级移动数据关联。
• 使用特定投票地点的投票率作为实际到访的代理，假设若注册选民前往投票站，其行为在移动数据中会被准确记录。
• 构建一个偏差审计框架，比较每个POI处观测到的移动数据覆盖率（记录到的访问比例）与基于选民登记的预期投票率，按年龄和种族分层。
• 应用统计检验（如t检验）检测不同人口统计子群体之间覆盖率的显著差异，形式化关于数据可靠性和代表性的假设。
• 通过根据65岁以上和非白人选民的中位比例将投票地点划分为四个人口统计组，估算覆盖率的人口统计差异。
• 通过比较基于SafeGraph客流量与实际投票率的资源配置，评估政策影响，识别资源配置错误的风险。

实验结果

研究问题

• RQ1 SafeGraph移动数据在覆盖老年人群和非白人群体方面存在多大程度的偏差？
• RQ2 行政数据（如选民投票记录）能否作为审计移动数据人口统计偏差的真实情况的有效代理？
• RQ3 移动数据覆盖率中的人口统计差异如何影响公共卫生资源配置等政策决策？
• RQ4 依赖偏差移动数据对测试点或口罩等资源的按比例分配产生多大程度的定量影响？
• RQ5 在政策相关应用中，如何纠正或减轻移动数据中的偏差？

主要发现

• SafeGraph移动数据系统性地低估了老年人群和非白人群体，最年长和非白人比例最高的投票地点的覆盖率显著低于实际投票率。
• 分析显示，若仅依赖SafeGraph数据，对最年长和非白人最多的群体的资源配置将出现37%的不足，相比基于选民投票率的最优配置。
• 相反，最年轻和最白人比例最高的群体在基于SafeGraph的决策下，资源分配高出33%，表明存在显著的政策扭曲。
• 在所有人口统计子群体中，覆盖率的差异具有统计显著性（p < 0.05），证实数据中存在系统性偏差。
• 即使控制地理和人口统计差异，偏差依然存在，表明其底层采样机制更倾向于年轻和白人用户。
• 本研究表明，若不进行调整，移动数据可能因未能有效针对高风险人群而加剧现有的健康不平等。