[논문 리뷰] A calibrated BISG for inferring race from surname and geolocation

Philip Greengard, Andrew Gelman|arXiv (Cornell University)|2023. 04. 18.

Names, Identity, and Discrimination Research인용 수 4

한 줄 요약

이 논문은 인종에 조건부로 성씨와 지리적 위치가 서로 독립적이라는 BISG의 잘못된 가정으로 인해 발생하는 체계적 편향을 보정하는 러킹 기반 校정 방법을 제안한다. 이 방법은 유권자 등록 데이터를 바탕으로 정확도와 校정 수준을 향상시켜, 주로 백인 비율이 높은 지역에서 히spanic 및 API 인구의 과소 추정을 각각 최대 25%와 15% 감소시킨다.

ABSTRACT

Bayesian Improved Surname Geocoding (BISG) is a ubiquitous tool for predicting race and ethnicity using an individual's geolocation and surname. Here we demonstrate that statistical dependence of surname and geolocation within racial/ethnic categories in the United States results in biases for minority subpopulations, and we introduce a raking-based improvement. Our method augments the data used by BISG--distributions of race by geolocation and race by surname--with the distribution of surname by geolocation obtained from state voter files. We validate our algorithm on state voter registration lists that contain self-identified race/ethnicity.

연구 동기 및 목표

• BISG의 조건부 독립성 가정(인종이 주어진 상태에서 성씨와 지리적 위치가 서로 독립적이라는 가정)이 유발하는 체계적 편향을 규명하고 이를 수정하는 것.
• 특히 백인 인구 밀도가 높은 지역에서 대표되지 않는 하위 인구집단의 인종/민족 추정 정확도를 향상시키는 것.
• BISG의 접근성은 유지하면서 성능을 향상시키는 단순하고 해석 가능하며 광범위하게 적용 가능한 校정 방법을 개발하는 것.
• 플로리다주와 노스카롤라이나주에서 레이블이 부여된 실제 유권자 등록 데이터를 바탕으로 개선된 방법을 검증하는 것.
• BISG의 독립성 가정이 하위 인구집단 추정에 일관되게 과소 추정을 초래하며, 이는 후속 응용 분야에서의 공정성에 악영향을 미친다는 것을 입증하는 것.

제안 방법

• 레이블이 부여된 유권자 데이터에서 관측된 마진을 기반으로, 지리적 단위별로 추정된 인종/민족 분포가 실제 값과 일치하도록 러킹을 적용하여 BISG 예측을 校정하는 것.
• 학습 및 검증에 동일한 레이블이 부여된 유권자 등록 데이터셋을 사용하여 BISG의 조건부 독립성 가정의 영향을 고립시키는 것.
• 각 지리적 단위에서 알려진 인구 수준의 인종/민족 분포를 만족하도록 반복적으로 확률을 조정하여 BISG 예측을 校정하는 것.
• 검증에 사용된 동일한 데이터에 정확한 인구 조사 요인을 적용하여 완전히 자기 일관성 있는 BISG 모델을 구축함으로써 분포 불일치를 제거하는 것.
• 모든 카운티에서 절대 오차 및 상대 오차 지표를 사용해 러킹 校정 예측과 표준 BISG 간의 성능을 비교하는 것.
• 서브샘플링 및 校정 지도를 활용하여 최악의 상황에서의 불일치 정도를 평가하고, 다양한 하위 인구집단에 대한 강건성을 분석하는 것.

실험 결과

연구 질문

• RQ1 BISG가 성씨와 지리적 위치가 인종에 조건부로 독립적이라고 가정하는 것이 인종/민족 추정에 체계적 편향을 초래하는가?
• RQ2 BISG가 하위 인구집단을 과소 추정하는 정도는 다양한 인종 구성의 지리적 지역 간에 어떻게 달라지는가?
• RQ3 러킹 기반 校정 방법이 민감한 개인 정보가 필요 없이 BISG의 정확도와 校정 수준을 크게 향상시킬 수 있는가?
• RQ4 BISG가 하위집단 규모를 잘못 추정하는 오류가 선거법, 의료, 금융과 같은 후속 응용 분야에 미치는 영향은 어느 정도인가?
• RQ5 BISG의 편향은 다양한 주와 민족적 맥락에서 일관되게 나타나며, 알려진 인구 마진을 사용해 보정 가능한가?

주요 결과

• 플로리다주에서, 85% 이상의 유권자가 비히스패닉 백인인 카운티에서는 BISG가 히스패닉 인구를 25% 과소 추정하고, API 인구를 15% 과소 추정한다.
• 러킹 기반 校정 방법은 플로리다주와 노스카롤라이나주 모든 카운티에서 표준 BISG에 비해 절대 오차 및 상대 오차를 크게 감소시킨다.
• 제안된 방법은 예측 확률이 알려진 인구 마진과 일치하도록 하여 校정 수준을 향상시키며, 예측 확률 간격 내에서 최악의 불일치를 감소시킨다.
• BISG의 조건부 독립성 가정은 랜덤이 아닌 일관되게 발생하는 체계적 오류를 유발하며, 특히 소규모 및 少數 하위 인구집단에 영향을 미친다.
• 러킹 기반 접근은 설명 가능성을 유지하며 추가적인 민감한 데이터가 필요 없어, 공정성에 민감한 분야에 적용하기에 적합하다.
• 동일한 레이블이 부여된 데이터셋을 학습 및 검증에 사용함으로써 연구는 BISG의 독립성 가정의 영향을 고립시켰으며, 이전까지 측정되지 않았던 편향 원인을 드러냈다.