[논문 리뷰] Leveraging Administrative Data for Bias Audits: Assessing Disparate Coverage with Mobility Data for COVID-19 Policy

Amanda Coston, Neel Guha외 4명|arXiv (Cornell University)|2020. 11. 14.

Imbalanced Data Classification Techniques참고 문헌 50인용 수 64

한 줄 요약

이 논문은 코로나19 정책을 위한 스마트폰 기반 이동성 데이터(예: SafeGraph)의 인구통계적 편향을 감시하기 위해 유권자 등재 행정 데이터를 사용하는 것을 제안한다. 노스카롤라이나주 2018년 선거에서 개인 수준의 투표율, 인종, 연령 데이터를 POI 수준의 이동성 데이터와 연결함으로써, 저연령층과 비백인 인구의 심각한 부족 대표성을 규명하였다. 이는 공중보건 자원 배분을 왜곡시키고 건강 불평등을 악화시킬 위험이 있다.

ABSTRACT

Anonymized smartphone-based mobility data has been widely adopted in devising and evaluating COVID-19 response strategies such as the targeting of public health resources. Yet little attention has been paid to measurement validity and demographic bias, due in part to the lack of documentation about which users are represented as well as the challenge of obtaining ground truth data on unique visits and demographics. We illustrate how linking large-scale administrative data can enable auditing mobility data for bias in the absence of demographic information and ground truth labels. More precisely, we show that linking voter roll data -- containing individual-level voter turnout for specific voting locations along with race and age -- can facilitate the construction of rigorous bias and reliability tests. These tests illuminate a sampling bias that is particularly noteworthy in the pandemic context: older and non-white voters are less likely to be captured by mobility data. We show that allocating public health resources based on such mobility data could disproportionately harm high-risk elderly and minority groups.

연구 동기 및 목표

• 코로나19 패an드레미크 동안 고위험 공중보건 정책에 사용되는 스마트폰 기반 이동성 데이터에 대한 독립적 검증의 부족을 해결하기 위해.
• SafeGraph와 같은 플랫폼의 이동성 데이터가 고위험 코로나19 결과를 초래할 수 있는 노인층과 비백인 인구를 체계적으로 부족 대표하는지 조사하기 위해.
• 이동성 데이터셋 자체의 기준값 레이블이나 인구통계 정보가 없이도 인구통계적 편향을 감시하는 방법을 개발하기 위해.
• 직접 검증이 불가능할 경우, 행정 데이터가 기준값에 대한 고정밀 대체 측정으로 기능할 수 있음을 보여주기 위해.
• 편향된 이동성 데이터에 의존할 경우, 특히 취약 인구 집단에 대한 자원 배분 결정에서 발생할 수 있는 정책적 결과를 설명하기 위해.

제안 방법

• 노스카롤라이나주 2018년 총선의 투표율 기록을 기준값 대체 측정으로 활용하여, 개인 수준의 유권자 데이터(인종, 연령, 투표소 위치 포함)를 POI 수준의 이동성 데이터와 연결함.
• 특정 투표소에서의 투표율을 실제 방문 수의 대체 측정으로 사용함. 유권자 등재자 중 투표한 자가 투표소를 방문했다면 이동성 데이터에 정확히 기록되어 있다고 가정함.
• 각 POI에서 연령 및 인종에 따라 분류된 하위군에 대해 관측된 이동성 데이터 커버리지(기록된 방문 비율)와 기대 투표율(유권자 등재자 기반)을 비교하는 편향 감시 프레임워크를 구축함.
• 통계적 검정(예: t-검정)을 적용하여 인구통계 하위군 간 커버리지의 유의미한 차이를 탐지함으로써 데이터 신뢰성 및 대표성에 대한 가정을 정량화함.
• 중위 연령 65세 이상 및 비백인 유권자 비율에 따라 투표소를 네 개의 연령-인종 그룹으로 분류하여 커버리지의 인구통계적 격차를 추정함.
• 자원 배분 기준으로 SafeGraph 이동성 데이터의 교통량과 실제 유권자 투표율을 비교하여 정책 영향을 평가함으로써 자원 배분 오류 위험을 규명함.

실험 결과

연구 질문

• RQ1 SafeGraph 이동성 데이터는 노인층과 비백인 인구의 커버리지에서 어느 정도 편향되어 있는가?
• RQ2 유권자 투표율 기록과 같은 행정 데이터가 이동성 데이터의 인구통계적 편향 감시에 기준값 대체 측정으로 유효한가?
• RQ3 이동성 데이터 커버리지의 인구통계적 격차는 공중보건 자원 배분과 같은 정책 결정에 어떻게 영향을 미치는가?
• RQ4 자원 할당(예: 검사소 또는 마스크)에 비례적으로 적용할 경우, 편향된 이동성 데이터의 정량적 영향은 무엇인가?
• RQ5 정책 관련 응용에서 이동성 데이터의 편향은 어떻게 수정하거나 완화할 수 있는가?

주요 결과

• SafeGraph 이동성 데이터는 노인층과 비백인 인구를 체계적으로 부족 대표하고 있으며, 가장 연령이 많고 비백인 비율이 높은 투표소의 커버리지가 실제 투표율보다 유의미하게 낮다.
• 분석 결과, SafeGraph 데이터에만 의존할 경우, 유권자 투표율 기반 최적 배분에 비해 가장 연령이 많고 비백인 비율이 높은 인구 집단에 자원이 37% 부족하게 할당됨을 확인함.
• 반대로, 가장 연령이 어리고 백인 비율이 높은 집단은 SafeGraph 기반 결정에 의해 자원이 33% 과다 할당되며, 이는 심각한 정책 왜곡을 나타냄.
• 모든 인구통계 하위군 간 커버리지 격차는 통계적으로 유의미함(p < 0.05), 이는 데이터의 체계적 편향을 확인함.
• 지리적 및 인구통계적 변동성을 제어하더라도 편향은 여전히 존재함을 확인하여, 기초 샘플링 메커니즘이 젊고 백인 사용자를 선호함을 시사함.
• 본 연구는 조정이 없이 이동성 데이터를 사용할 경우, 고위험 집단을 효과적으로 대상으로 하지 못함으로써 기존의 건강 불평등을 악화시킬 수 있음을 입증함.