[論文レビュー] Leveraging Administrative Data for Bias Audits: Assessing Disparate Coverage with Mobility Data for COVID-19 Policy

Amanda Coston, Neel Guha+4 more|arXiv (Cornell University)|Nov 14, 2020

Imbalanced Data Classification Techniques参考文献 50被引用数 64

ひとこと要約

本稿では、COVID-19政策におけるスマートフォンベースのモビリティデータ（例：SafeGraph）の文化的バイアスを監査するために、有権者登録行政データを活用する手法を提案する。ノースカロライナ州2018年の選挙における個々の有権者投票行動、人種、年齢データをPOIレベルのモビリティデータと紐付けすることで、年配層および白人以外の層がモビリティデータに著しく欠落していることが特定された。これは、公衆衛生リソースの配分を歪め、健康格差を悪化させるリスクを伴う。

ABSTRACT

Anonymized smartphone-based mobility data has been widely adopted in devising and evaluating COVID-19 response strategies such as the targeting of public health resources. Yet little attention has been paid to measurement validity and demographic bias, due in part to the lack of documentation about which users are represented as well as the challenge of obtaining ground truth data on unique visits and demographics. We illustrate how linking large-scale administrative data can enable auditing mobility data for bias in the absence of demographic information and ground truth labels. More precisely, we show that linking voter roll data -- containing individual-level voter turnout for specific voting locations along with race and age -- can facilitate the construction of rigorous bias and reliability tests. These tests illuminate a sampling bias that is particularly noteworthy in the pandemic context: older and non-white voters are less likely to be captured by mobility data. We show that allocating public health resources based on such mobility data could disproportionately harm high-risk elderly and minority groups.

研究の動機と目的

• COVID-19パンデミック期における高水準の公衆衛生政策に使用されるスマートフォンベースのモビリティデータに対する独立した検証の不足に対処すること。
• SafeGraphなどのプラットフォームから得られるモビリティデータが、重症COVID-19のリスクが高いため重点的に対象とすべき高齢者および非白人層を系統的に低く見積もっているかどうかを調査すること。
• モビリティデータセット自体に実際のデモグラフィック情報や真のラベル（ground truth）が存在しない状況でも、デモグラフィックバイアスを監査するための手法を開発すること。
• 直接的な検証が不可能な状況において、行政データが真のラベルの高精度な代理指標として機能できることを示すこと。
• バイアスのあるモビリティデータに依存することで生じる政策的影響、特に脆弱な集団へのリソース配分意思決定に与える影響を明らかにすること。

提案手法

• ノースカロライナ州2018年一般選挙における有権者投票記録を、個々の有権者データ（人種、年齢、投票所位置など）とPOIレベルのモビリティデータに紐付ける真のラベルの代替指標として活用する。
• 特定の投票所における有権者投票率を、実際の訪問行動の代替指標として用いる。投票した登録有権者が投票所を訪問した場合、その行動がモビリティデータに正確に記録されていると仮定する。
• 年齢および人種ごとに層別された各POIについて、観察されたモビリティデータのカバレッジ（記録済み訪問の割合）と予想される投票率（有権者登録データより）を比較するバイアス監査フレームワークを構築する。
• t検定などの統計的検定を用いて、デモグラフィックサブグループ間でのカバレッジ差に有意差があるかを検出することで、データの信頼性および代表性に関する仮定を形式化する。
• 投票所を、65歳以上および非白人有権者の中央割合に基づき4つの年齢・人種グループにグループ化し、カバレッジのデモグラフィック差を推定する。
• SafeGraphの交通量と実際の有権者投票率を比較することで、政策的影響を評価し、リソース配分の誤配分リスクを特定する。

実験結果

リサーチクエスチョン

• RQ1 SafeGraphのモビリティデータは、高齢者および非白人層のカバレッジにおいてどの程度バイアスを示しているか？
• RQ2 有権者投票記録のような行政データは、デモグラフィックバイアス監査における真のラベルの有効な代替指標として機能できるか？
• RQ3 モビリティデータのカバレッジにおけるデモグラフィック差は、公衆衛生リソース配分などの政策的意思決定にどのように影響を与えるか？
• RQ4 リソース（例：テスト施設やマスク）の割り当てに割合を基準とする場合、バイアスのあるモビリティデータを用いることで生じる定量的影響は何か？
• RQ5 政策関連の応用において、モビリティデータのバイアスはどのように是正または緩和できるか？

主な発見

• SafeGraphのモビリティデータは、高齢者および非白人層のカバレッジを系統的に低く見積もっており、最も高齢者および非白人層が多数を占める投票所では、実際の有権者投票率に比べて著しく低いカバレッジが確認された。
• 分析により、有権者投票に基づく最適な配分と比較して、SafeGraphデータにのみ依存した場合、最も高齢者および非白人層の多い集団に対して37％のリソース不足が生じることが判明した。
• 逆に、最も若く白人層が多数を占めるグループは、SafeGraphに基づく意思決定で33％の過剰配分を受けることが判明し、顕著な政策的歪みが生じていることが示された。
• デモグラフィックサブグループ間でカバレッジの差に統計的に有意な差（p < 0.05）が認められ、データに系統的なバイアスが存在することが確認された。
• 地理的およびデモグラフィックの変動を制御してもバイアスは依然として残っており、これは、サンプリングメカニズムそのものが若年層および白人層を優遇している可能性を示唆している。
• 本研究は、調整が行われない限り、モビリティデータが高リスク集団を的確にターゲットにできず、既存の健康格差を悪化させる可能性があることを示した。