[論文レビュー] Awareness in Practice: Tensions in Access to Sensitive Attribute Data for Antidiscrimination

Miranda Bogen, Aaron Rieke+1 more|arXiv (Cornell University)|Dec 12, 2019

Ethics and Social Impacts of AI参考文献 37被引用数 13

ひとこと要約

この論文は、米国のクレジット、雇用、医療分野における感受性のある属性データ（人種や性別など）へのアクセスの不一致を調査し、法的義務、企業の慣行、制度的規範が、公平性に配慮した機械学習の実装に大きな障壁をもたらしていることを明らかにしている。感受性のある属性データへの信頼できるアクセスがなければ、バイアスの検出や是正手法は研究環境以外では実際には導入できないと主張している。

ABSTRACT

Organizations cannot address demographic disparities that they cannot see. Recent research on machine learning and fairness has emphasized that awareness of sensitive attributes, such as race and sex, is critical to the development of interventions. However, on the ground, the existence of these data cannot be taken for granted. This paper uses the domains of employment, credit, and healthcare in the United States to surface conditions that have shaped the availability of sensitive attribute data. For each domain, we describe how and when private companies collect or infer sensitive attribute data for antidiscrimination purposes. An inconsistent story emerges: Some companies are required by law to collect sensitive attribute data, while others are prohibited from doing so. Still others, in the absence of legal mandates, have determined that collection and imputation of these data are appropriate to address disparities. This story has important implications for fairness research and its future applications. If companies that mediate access to life opportunities are unable or hesitant to collect or infer sensitive attribute data, then proposed techniques to detect and mitigate bias in machine learning models might never be implemented outside the lab. We conclude that today's legal requirements and corporate practices, while highly inconsistent across domains, offer lessons for how to approach the collection and inference of sensitive data in appropriate circumstances. We urge stakeholders, including machine learning practitioners, to actively help chart a path forward that takes both policy goals and technical needs into account.

研究の動機と目的

• 感受性のある属性データへのアクセスが、機械学習におけるバイアスの検出や是正に不可欠であるにもかかわらず、米国の主要分野において一貫性のない理由を調査すること。
• 法的要件、企業方針、制度的規範が、クレジット、雇用、医療分野における感受性のある属性の収集および推定にどのように影響しているかを分析すること。
• 感受性のあるデータが収集されない、あるいは推定されない場合、公平性に配慮した機械学習手法が実際の現場で実装できないというリスクを浮き彫りにすること。
• 研究者、政策立案者、実務家が連携して、公平性対策における責任あるデータ利用の明確な原則を確立するよう呼びかけること。
• 感受性のある属性を推定する際の倫理的・技術的課題を検討し、その責任ある取り扱いに向けた保護策を提案すること。

提案手法

• クレジット、雇用、医療の3つの規制された米国分野における感受性のある属性データ収集に関する比較的法的・制度的分析を実施した。
• 各分野における感受性のある属性の収集に関する既存の法的義務および禁止事項をマッピングし、異なる規制枠組みを特定した。
• 各分野における民間企業が、差別の是正の目的で感受性のある属性をどのように収集または推定しているかを、コンプライアンス、道徳的義務、リスク低減の観点から調査した。
• データ最小化およびプライバシー法の影響が、特に機械学習モデルの監査の文脈において公平性研究に与える影響を評価した。
• 安全なマルチパーティ計算、プライベートセットインターセクション、および同型暗号化などの技術的保護策を提案し、プライバシーを守りつつ感受性のあるデータにアクセス可能にする仕組みを可能にした。
• 感受性のある属性を収集または推定する際の明確な政策的指針の必要性を提言した。具体的には、推定されたデータをマークし、別々に保存することを含む。

実験結果

リサーチクエスチョン

• RQ1 米国のクレジット、雇用、医療分野において、民間企業が差別是正の目的で感受性のある属性データを収集または推定する法的および制度的条件は何か？
• RQ2 同じ差別の是正という目的を有するにもかかわらず、一部の企業は感受性のある属性データを収集している一方で、他の企業はそれを禁止されているのはなぜか？
• RQ3 プライバシー法およびデータ最小化の原則が、公平性に配慮した機械学習における保護対象の分類の認識にどのように矛盾しているのか？
• RQ4 感受性のある属性データを推定する際の、技術的および倫理的保護策は何か？ それらは、機械学習システムにおける感受性のある属性データの責任ある収集と利用をどのように保証できるか？
• RQ5 機械学習の研究者および実務者が、公平性対策における感受性のある属性データへのアクセスに関する今後の政策形成において果たすべき役割は何か？

主な発見

• 米国のクレジット分野では、一部の貸し手が法的に感受性のある属性データを収集することが義務付けられている一方で、他の貸し手はそれを禁止されているため、分断された状況が生じている。
• 大手企業では、長年の公民権法への準拠を反映して、通常の人事業務の一環として感受性のある属性データを収集している。
• 医療分野では、法的遵守に加え、人種や性別による健康格差を是正するという道徳的義務から、企業が感受性のある属性データを収集している。
• テクノロジー・プラットフォームやベンダーは、人生の機会にアクセスを仲介しているにもかかわらず、感受性のある属性を収集または推定するための明確な指針がなく、結果としてデータ収集が一貫しない、あるいはまったく行われない状況に陥っている。
• 特に従来の規制対象外の実体に対して、感受性のある属性データをいつ、どのように収集または推定するかを判断するための一貫性のある、広く受け入れられたフレームワークが存在しない。
• 同型暗号化やプライベートセットインターセクションなどのプライバシー保護技術は有望であるが、まだ未発達であり、公平性のテストに広く導入されていない。