[論文レビュー] A calibrated BISG for inferring race from surname and geolocation

Philip Greengard, Andrew Gelman|arXiv (Cornell University)|Apr 18, 2023

Names, Identity, and Discrimination Research被引用数 4

ひとこと要約

本稿では、人種を条件とした姓と地理的所在の条件付き独立性というBISGの誤った仮定に起因する系統的バイアスを是正することで、ベイジアン・イニシャライズド・サナーム・ジオコーディング（BISG）の性能を著しく向上させるラーティングベースのキャリブレーション手法を提案する。この手法は、有権者登録データを用いた精度とキャリブレーションを向上させ、白人人口が大多数を占める郡において、ヒスパニック系およびアジア系・太平洋諸島系（API）人口の低カウントをそれぞれ最大25%および15%まで低減する。

ABSTRACT

Bayesian Improved Surname Geocoding (BISG) is a ubiquitous tool for predicting race and ethnicity using an individual's geolocation and surname. Here we demonstrate that statistical dependence of surname and geolocation within racial/ethnic categories in the United States results in biases for minority subpopulations, and we introduce a raking-based improvement. Our method augments the data used by BISG--distributions of race by geolocation and race by surname--with the distribution of surname by geolocation obtained from state voter files. We validate our algorithm on state voter registration lists that contain self-identified race/ethnicity.

研究の動機と目的

• 人種を条件とした姓と地理的所在の条件付き独立性というBISGの仮定に起因する系統的バイアスを同定および是正すること。
• 特に白人人口密度の高い地域において、代表されないサブグループのレース/エスニシティ推定の正確性を向上させること。
• BISGの使いやすさを保ちつつ性能を向上させる、シンプルで解釈可能かつ広く適用可能なキャリブレーション手法を開発すること。
• フロリダ州およびノースカロライナ州の実際の有権者登録データ（レース/エスニシティがラベル付け済み）を用いて、改善された手法の妥当性を検証すること。
• BISGの独立性仮定が、後続の応用分野における公平性を損なう一貫した少数派グループの低カウントを引き起こすことを示すこと。

提案手法

• ラーティングを適用して、BISGの予測を調整し、地理的領域における推定されたレース/エスニシティ分布が、ラベル付け済み有権者データからの既知の観測マージンと一致するようにすること。
• 訓練および検証に同じラベル付け済み有権者登録データセットを用いて、BISGの条件付き独立性仮定の影響を明確に分離すること。
• 各地理的単位における既知の集計レベルのレース/エスニシティ分布に合わせて、反復的に確率を調整することでBISGの予測をキャリブレーションすること。
• 検証に使用したデータと同じデータを用いて、正確なセンサス要因を用いた完全に自己整合性のあるBISGモデルを構築し、分布の不一致を排除すること。
• 全郡にわたり、絶対誤差および相対誤差の指標を用いて、ラーティングキャリブレーション済み予測と標準BISGの性能を比較すること。
• サブサンプリングおよびキャリブレーションマップを用いて、最悪ケースの不適合度を評価し、さまざまなサブグループにおける頑健性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 人種を条件とした姓と地理的所在の条件付き独立性というBISGの仮定は、レース/エスニシティ推定に系統的バイアスをもたらすか？
• RQ2 人種構成が異なる地理的地域において、BISGによる少数派サブグループの低カウントはどのように変動するか？
• RQ3 ラーティングベースのキャリブレーション手法は、機微な個人データを必要とせずにBISGの正確性とキャリブレーションを著しく向上させることができるか？
• RQ4 BISGがサブグループの規模を推定する際の誤差が、選挙法、医療、融資などの後続の応用分野に及ぼす影響はどの程度か？
• RQ5 BISGのバイアスは、異なる州および人口統計的文脈で一貫しており、既知の集計マージンを用いて是正可能か？

主な発見

• フロリダ州では、登録有権者の少なくとも85%がヒスパニック系でない白人である郡において、BISGはヒスパニック系人口を25%、API人口を15%低く推定している。
• ラーティングベースのキャリブレーション手法は、フロリダ州およびノースカロライナ州の全郡において、標準BISGと比較して絶対誤差および相対誤差の両方を著しく低減している。
• 提案手法は、予測確率を既知の集計マージンに合わせることでキャリブレーションを向上させ、予測確率区間全体における最悪ケースの不適合度を低減している。
• BISGの条件付き独立性仮定は、特に小規模かつ少数派サブグループに影響を及ぼす一貫した系統的誤差をもたらし、これはランダムではない。
• ラーティングベースのアプローチは解釈可能性を保ち、追加の機微なデータを必要としないため、公平性が重視される分野への導入に適している。
• 本研究では、同じラベル付きデータセットを訓練および検証に用いることで、BISGの独立性仮定の影響を明確に分離し、これまで測定されていなかったバイアス要因を特定した。