[論文レビュー] "What We Can't Measure, We Can't Understand": Challenges to Demographic Data Procurement in the Pursuit of Fairness

McKane Andrus, Elena Spitzer+2 more|arXiv (Cornell University)|Oct 30, 2020

Ethics and Social Impacts of AI参考文献 56被引用数 20

ひとこと要約

この論文は、アルゴリズムの公平性を確保するための人口統計的データを実務家が入手する際に直面する実用的課題を調査しており、法的・倫理的・技術的障壁が、その必要性にもかかわらずアクセスを妨げることが多いことを明らかにしている。単にデータ収集の障壁を下げるのではなく、直接的人口統計的データ収集に依存せずに、倫理的にバイアスを評価・是正するための規範的フレームワークと包括的実践を提唱している。

ABSTRACT

As calls for fair and unbiased algorithmic systems increase, so too does the number of individuals working on algorithmic fairness in industry. However, these practitioners often do not have access to the demographic data they feel they need to detect bias in practice. Even with the growing variety of toolkits and strategies for working towards algorithmic fairness, they almost invariably require access to demographic attributes or proxies. We investigated this dilemma through semi-structured interviews with 38 practitioners and professionals either working in or adjacent to algorithmic fairness. Participants painted a complex picture of what demographic data availability and use look like on the ground, ranging from not having access to personal data of any kind to being legally required to collect and use demographic data for discrimination assessments. In many domains, demographic data collection raises a host of difficult questions, including how to balance privacy and fairness, how to define relevant social categories, how to ensure meaningful consent, and whether it is appropriate for private companies to infer someone's demographics. Our research suggests challenges that must be considered by businesses, regulators, researchers, and community groups in order to enable practitioners to address algorithmic bias in practice. Critically, we do not propose that the overall goal of future work should be to simply lower the barriers to collecting demographic data. Rather, our study surfaces a swath of normative questions about how, when, and whether this data should be procured, and, in cases where it is not, what should still be done to mitigate bias.

研究の動機と目的

• 実務家がアルゴリズムの公平性のための人口統計的データを調達する際に直面する現実の課題を理解すること。
• 産業界および研究分野における人口統計的データ利用に影響を与える倫理的・法的・技術的制約を検討すること。
• 直接的人口統計的データ収集に代わる代替の公平性手法（例：プロキシ、推論、第三者による監査）が、実際に効果的に機能するかどうかを評価すること。
• データプライバシー規制および差別の禁止法が、実際の公平性測定とどのように相互作用するかを明らかにすること。
• データ主体が公平性プロセスにおいて果たす役割と、従来の人口統計的データ収集に依存しない包括的で同意に基づくデータ収集モデルの実現可能性を評価すること。

提案手法

• アルゴリズムの公平性に関連する分野で活動する38名の実務者および専門家を対象に、半構造化インタビューを実施した。
• 多様な分野における実務者の経験を分析し、人口統計的データの可用性と利用のスケールをマッピングした。
• GDPR や米国の差別禁止法を含む、法的・規制的フレームワークを、データ調達の文脈で検討した。
• 微分プライバシー、暗号技術、第三者によるデータ管理など、プライバシーを守る代替手法を評価した。
• 中央集権的な人口統計的データが不要な公平性分析を可能にする分散型アプローチ（例：フェデレーテッドラーニング）を検討した。
• データ主体の同意およびコミュニティ参加が、公平性評価のための倫理的データ利用をどのように形作るかを検討した。

実験結果

リサーチクエスチョン

• RQ1 実務家がアルゴリズムの公平性評価のための人口統計的データにアクセスする際に直面する主な障壁は何か？
• RQ2 GDPR などの法的・規制的フレームワークは、公平性作業における人口統計的データの収集と利用にどのように影響を与えるか？
• RQ3 微分プライバシーなどのプライバシー保護技術、または第三者によるデータ管理は、直接的人口統計的データ収集にどの程度代わることができるか？
• RQ4 実務家は、同意、代表性、グループの顕在性といった倫理的懸念をどのように扱いながら人口統計的データを収集しているか？
• RQ5 従来の人口統計的データ収集に依存せずに、データ主体およびコミュニティのステークホルダーが公平性評価プロセスをどのように形作れるか？

主な発見

• 多くの実務者が、法的制限、プライバシー懸念、または組織方針のため、バイアス検出に不可欠な場合でも人口統計的データにアクセスできない。
• GDPR などの法的フレームワークは、人口統計的データの使用をしばしば制限するが、一部の管轄区域（例：英国）では、特定の公平性監査条件のもとで使用を許可する指針が出されている。
• 推論、プロキシ、後処理によるグループ同定などの代替手法は、直接的データ収集を減らすが、誤表現のリスクや公平性の正確性の低下を引き起こす可能性がある。
• 第三者によるデータ収集やプライバシー保護技術（例：微分プライバシー）は責任の所在を変えるが、データの顕在性やグループ代表性に関する根本的な倫理的問いには解決しない。
• 実務者たちは、データの信頼性、同意、および誤った人口統計的分類によるシステム的バイアスの強化の可能性について強い懸念を示している。
• データ主体やコミュニティの参加は、データの関連性と倫理的責任を高めることができるが、このようなモデルは複雑で実装にコストがかかる。