[논문 리뷰] How should we proxy for race/ethnicity? Comparing Bayesian improved surname geocoding to machine learning methods

Ari Decter-Frain|arXiv (Cornell University)|2022. 06. 26.

Names, Identity, and Discrimination Research인용 수 4

한 줄 요약

이 연구는 유권자 등록 데이터에서 인종/민족을 대체 측정하는 데 있어 베이지안 개선된 성씨 지리정보화(BISG)와 기계학습(ML) 모델을 비교한다. 자가 보고한 인종 데이터가 있는 네 개의 미국 주를 대상으로 하였으며, ML 모델이 개인 분류에서 BISG를 일관되게 능가하는 것으로 나타났다. 반면 BISG는 지역적 인종 구성 추정에서 다양한 편향을 보이며, 이는 대체 방법의 주별 특화 검증이 필요함을 시사한다.

ABSTRACT

Bayesian Improved Surname Geocoding (BISG) is the most popular method for proxying race/ethnicity in voter registration files that do not contain it. This paper benchmarks BISG against a range of previously untested machine learning alternatives, using voter files with self-reported race/ethnicity from California, Florida, North Carolina, and Georgia. This analysis yields three key findings. First, machine learning consistently outperforms BISG at individual classification of race/ethnicity. Second, BISG and machine learning methods exhibit divergent biases for estimating regional racial composition. Third, the performance of all methods varies substantially across states. These results suggest that pre-trained machine learning models are preferable to BISG for individual classification. Furthermore, mixed results across states underscore the need for researchers to empirically validate their chosen race/ethnicity proxy in their populations of interest.

연구 동기 및 목표

• 기계학습 모델이 유권자 등록 데이터에서 인종/민족을 대체 측정하는 데 있어 베이지안 개선된 성씨 지리정보화(BISG)를 능가하는지 평가하는 것.
• BISG와 ML 방법의 성능을 다양한 미국 주에서 지역적 인종 구성 추정에 대해 평가하는 것.
• 방법론적 선택이 다양한 인구 및 지리적 맥락에서 인종/민족 대체 측정의 편향과 정확도에 미치는 영향을 분석하는 것.
• 연구자가 새로운 데이터셋에서 인종/민족 대체 측정 방법을 선택하고 검증하는 데 있어 실증적 지침을 제공하는 것.
• 특히 선거구 재편 및 투표 권리 소송에 있어 대체 방법 선택의 함의를 평가하는 것.

제안 방법

• 연구는 캘리포니아, 플로리다, 노스카롤라이나, 조지아 주의 유권자 등록 데이터를 사용하였으며, 자가 보고한 인종/민족 정보를 포함하여 총 2,600만 건 이상의 레이블이 부여된 관측치를 확보하였다.
• BISG는 지리적 확률을 위해 2020년 제10회 인구센서스의 블록 수준 데이터를 사용하고, 성씨별 인종 비율은 인구센서스 성씨 목록 자료를 활용하였다.
• 다양한 기계학습 모델을 네 주 데이터셋에 대해 훈련하였으며, 성씨, 이름, 중간 이름, 지리적 위치를 특성으로 사용하여 인종/민족을 예측하였다.
• 외부 주에서의 예측 결과를 활용하여 모델의 일반화 능력을 평가하였으며, 분류 정확도 및 지역적 구성 추정을 기준으로 성능을 평가하였다.
• 확장된 BISG 모델은 첫 번째 이름, 중간 이름, 성별과 같은 추가 변수를 포함하였으며, 데이터 누출을 방지하기 위해 다국가 기반 조회 테이블을 사용하였다.
• 분류 정확도, 校정성(calibration), 선거구 수준 인종 구성 추정에서의 편향 등의 지표를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 유권자 등록 데이터를 활용하여 개인의 인종/민족을 분류하는 데 있어 BISG를 능가하는가?
• RQ2 BISG와 기계학습 방법은 미국 주별로 지역적 인종 구성 추정에서 어떻게 다른 편향을 보이는가?
• RQ3 인종/민족 대체 측정 방법의 성능이 다양한 주와 지역 간에 어느 정도로 다를까?
• RQ4 정착된 기계학습 모델의 사용은 정치학 및 선거구 재편 응용 분야에서 BISG 대비 校정성과 정확도 측면에서 어떻게 다른가?
• RQ5 인종/민족 대체 측정에서의 방법론적 편향은 투표 권리, 선거구 재편, 후보자 수준 분석 등 후속 연구에 어떤 함의를 지닌다?

주요 결과

• 모든 네 주에서 기계학습 모델이 개인 수준의 인종/민족 분류에서 BISG를 일관되게 능가한다.
• BISG는 지역적 인종 구성 추정에서 다양한 편향을 보이며, 캘리포니아에서는 블랙 및 히스패닉 비율을 과대평가하고 플로리다에서는 더 정확하게 작동한다.
• 모든 대체 측정 방법의 성능은 주별로 상당한 차이를 보이며, 어떤 한 방법도 모든 관할구역에서 일관된 정확도를 확보하지 못한다.
• BISG는 분리된 지역에서 더 높은 정확도를 보이지만, 이는 분리 수준이 다른 선거구 간 비교 분석에서 편향을 유발할 수 있다.
• 다중 주 데이터로 사전 훈련된 기계학습 모델은 개인 분류에서 BISG보다 더 정확하고 보다 잘 校정된 인종/민족 대체 측정을 제공한다.
• 기밀성 제약으로 인해 이전 결과의 공개적 검토가 어려운 점을 감안할 때, 새로운 연구 맥락에서 대체 측정 방법의 실증적 검증이 필수적이다.