[論文レビュー] Big Data, Data Science, and Civil Rights

Solon Barocas, Elizabeth Bradley+2 more|arXiv (Cornell University)|Jun 9, 2017

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

この論文は、ビッグデータおよびデータサイエンスにおける市民権リスクに対処する包括的な研究アジェンダを提唱し、アルゴリズムにおけるバイアスの検出・軽減、透明性の向上、モデル開発ライフサイクル全体にわたる公平性の統合を焦点としている。データドリブンなシステムが差別を助長したり社会的正義を損なったりしないようにするため、学際的協働を促すことを提唱している。

ABSTRACT

Advances in data analytics bring with them civil rights implications. Data-driven and algorithmic decision making increasingly determine how businesses target advertisements to consumers, how police departments monitor individuals or groups, how banks decide who gets a loan and who does not, how employers hire, how colleges and universities make admissions and financial aid decisions, and much more. As data-driven decisions increasingly affect every corner of our lives, there is an urgent need to ensure they do not become instruments of discrimination, barriers to equality, threats to social justice, and sources of unfairness. In this paper, we argue for a concrete research agenda aimed at addressing these concerns, comprising five areas of emphasis: (i) Determining if models and modeling procedures exhibit objectionable bias; (ii) Building awareness of fairness into machine learning methods; (iii) Improving the transparency and control of data- and model-driven decision making; (iv) Looking beyond the algorithm(s) for sources of bias and unfairness-in the myriad human decisions made during the problem formulation and modeling process; and (v) Supporting the cross-disciplinary scholarship necessary to do all of that well.

研究の動機と目的

• データドリブンおよびアルゴリズム意思決定の増加が、社会的根幹分野に及ぼす市民権上の懸念を特定・解決すること。
• 機械学習モデルおよびモデリング手順における不快なバイアスを検出・軽減する手法を開発すること。
• 機関全体におけるデータおよびモデルドリブン意思決定における透明性とユーザーのコントロールを向上させること。
• 問題定義およびデータ収集プロセスにおける非アルゴリズム的バイアスの源を検討すること。
• コンピュータサイエンス、法、倫理、社会科学を統合する学際的学術研究を促進し、公平な結果を保証すること。

提案手法

• データサイエンスにおける市民権問題を体系的に解決するための5段階の研究アジェンダを提唱すること。
• モデル開発段階で公平性指標およびバイアス検出技術を機械学習パイプラインに統合すること。
• 説明可能なAIおよびデータとモデル意思決定の監査可能性を通じて透明性を向上させること。
• 問題の定式化から導入までのデータサイエンスライフサイクル全体を包括的に分析し、隠れたバイアスを特定すること。
• データサイエンティスト、社会科学者、法学者、市民権専門家との学際的協働を推進すること。
• ハイステークス分野で使用されるアルゴリズムシステムにおける責任と監視のフレームワークを構築すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータドリブンなモデルおよびモデリング手順における不快なバイアスを検出・測定できるか？
• RQ2 アルゴリズムの出発段階から公平性を組み込むための技術的および手続的メカニズムは何か？
• RQ3 ユーザーおよび監査機関がデータおよびモデル意思決定プロセスをより透明かつ制御可能にするにはどうすればよいか？
• RQ4 データサイエンスライフサイクルにおける非アルゴリズム的不公平の源は何か。それらはどのように特定・是正できるか？
• RQ5 データサイエンスにおける公平性および市民権に関する持続的かつ学際的な研究を支援するための制度的および学術的構造は何か？

主な発見

• この論文は、技術的解決策を超えたシステム的解決策を重視する、データサイエンスにおける市民権リスクに対処する基盤的研究アジェンダを確立している。
• バイアスはしばしばアルゴリズム自体に由来するのではなく、問題定義、データ収集、モデリング過程における人的意思決定に由来することが同定されている。
• 透明性とユーザーのコントロールは、構造的および文脈的不公平の源に対処しなければ、本質的に不十分である。
• 著者らは、公平性をアルゴリズム的修正だけで達成することは不可能であり、意味のある影響をもたらすには学際的協働が不可欠であると主張している。
• この論文は、市民権の考慮事項をデータサイエンスの実践に統合するために、制度的支援と持続的な学術的関与が不可欠であると呼びかけている。
• 公平性は技術的、倫理的、法的、社会的次元を統合する必要がある多面的課題であると位置づけている。