[論文レビュー] How should we proxy for race/ethnicity? Comparing Bayesian improved surname geocoding to machine learning methods

Ari Decter-Frain|arXiv (Cornell University)|Jun 26, 2022

Names, Identity, and Discrimination Research被引用数 4

ひとこと要約

本研究は、有権者登録データにおける人種／民族の代理測定に関して、ベイジアン・イントラスト・サノーム・ジオコーディング（BISG）と機械学習（ML）モデルを比較する。米国4州の自己申告された人種データを用いて、MLモデルが個々の分類において一貫してBISGを上回ることを明らかにした一方、BISGは地域的人種構成を推定する際に州ごとに異なるバイアスを示し、代理手法の州別検証の必要性を浮き彫りにした。

ABSTRACT

Bayesian Improved Surname Geocoding (BISG) is the most popular method for proxying race/ethnicity in voter registration files that do not contain it. This paper benchmarks BISG against a range of previously untested machine learning alternatives, using voter files with self-reported race/ethnicity from California, Florida, North Carolina, and Georgia. This analysis yields three key findings. First, machine learning consistently outperforms BISG at individual classification of race/ethnicity. Second, BISG and machine learning methods exhibit divergent biases for estimating regional racial composition. Third, the performance of all methods varies substantially across states. These results suggest that pre-trained machine learning models are preferable to BISG for individual classification. Furthermore, mixed results across states underscore the need for researchers to empirically validate their chosen race/ethnicity proxy in their populations of interest.

研究の動機と目的

• 有権者登録データからの人種／民族の代理測定において、機械学習モデルがベイジアン・イントラスト・サノーム・ジオコーディング（BISG）を上回るかを評価すること。
• 米国各地の異なる州における地域的人種構成の推定において、BISGおよびML手法のパフォーマンスを評価すること。
• 手法的選択が、多様な人口統計的・地理的文脈における人種／民族の代理測定におけるバイアスと正確性に与える影響を検討すること。
• 研究者が新しいデータセットにおいて人種／民族の代理測定手法を選択・検証するための実証的指針を提供すること。
• 特に選挙区再編および投票権訴訟において、代理手法の選択が実質的な政治科学研究に与える影響を評価すること。

提案手法

• 本研究は、カリフォルニア州、フロリダ州、ノースカロライナ州、ジョージア州の4州から得た有権者登録データを用い、合計2600万件以上のラベル付き観察データを含む。
• BISGは、2020年全米人口センサスのブロックレベルデータを用いて地理的確率を、センサスの姓リストから得た姓別人種割合を用いて実装した。
• 4州のデータセット上で、姓、与えられた名前、ミドルネーム、および地理的位置を特徴量として用い、人種／民族を予測する多様な機械学習モデルを訓練した。
• 外部州の予測結果を用いてモデルの汎化性能を評価し、分類精度および地域的構成推定の観点から性能を評価した。
• 拡張版BISGモデルは、最初の名前、ミドルネーム、性別などの追加変数を組み込み、データ漏洩を避けるために州間の照合テーブルを用いた。
• 分類精度、キャリブレーション、および集計レベルでの選挙区レベルの人種構成推定におけるバイアスといった指標を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 有権者登録データを用いた場合、機械学習はBISGを上回って個々の人種／民族を分類できるか？
• RQ2 BISGと機械学習手法は、米国の異なる州において地域的人種構成を推定する際に、どのようにバイアスの違いを示すか？
• RQ3 人種／民族の代理測定手法のパフォーマンスは、異なる州や地域でどの程度変動するか？
• RQ4 政治科学および選挙区再編の応用において、事前学習済み機械学習モデルの使用はBISGと比較して、キャリブレーションと正確性の面で優れているか？
• RQ5 人種／民族の代理測定における手法的バイアスは、投票権、選挙区再編、および候補者レベルの分析といった後続研究にどのような影響を及えるか？

主な発見

• 機械学習モデルは、本研究で対象とした4州すべてにおいて、個々の人種／民族分類において一貫してBISGを上回った。
• BISGは地域的人種構成を推定する際に、カリフォルニア州ではブラックおよびヒスパニック系の割合を過剰に推定するが、フロリダ州ではより正確に推定するという、異なるバイアスを示した。
• すべての代理測定手法のパフォーマンスは、州ごとに顕著に変動し、いかなる1つの手法でも全管轄区域で一貫した正確性を達成していなかった。
• BISGは人種的分離が顕著な地域で高い正確性を示すが、これは、分離度が異なる選挙区間の比較分析においてバイアスを生じかねない。
• 多州データで事前学習された機械学習モデルは、個々の分類においてBISGよりも正確で、より良好にキャリブレーションされた人種／民族の代理測定を提供した。
• 機密制約のため、過去の結果が公に検証されないことが多いため、新しい研究文脈において代理手法の実証的検証が不可欠である。