[論文レビュー] No computation without representation: Avoiding data and algorithm biases through diversity

Caitlin Kuhlman, Latifa Jackson+1 more|arXiv (Cornell University)|Feb 26, 2020

Ethics and Social Impacts of AI参考文献 61被引用数 17

ひとこと要約

この論文は、データサイエンス分野における代表性の欠如が、データセットやアルゴリズムにおける構造的バイアスを助長するため、倫理的なAIを達成するには、計算コミュニティ自体の多様化が不可欠であると主張している。少数派支援機関と連携した教育、メンターシップ、共同研究を通じて、代表されない声を統合することで、公平性を初期段階から組み込み、アルゴリズムバイアスを低減し、公平な社会技術的システムを育むことが可能になる。

ABSTRACT

The emergence and growth of research on issues of ethics in AI, and in particular algorithmic fairness, has roots in an essential observation that structural inequalities in society are reflected in the data used to train predictive models and in the design of objective functions. While research aiming to mitigate these issues is inherently interdisciplinary, the design of unbiased algorithms and fair socio-technical systems are key desired outcomes which depend on practitioners from the fields of data science and computing. However, these computing fields broadly also suffer from the same under-representation issues that are found in the datasets we analyze. This disconnect affects the design of both the desired outcomes and metrics by which we measure success. If the ethical AI research community accepts this, we tacitly endorse the status quo and contradict the goals of non-discrimination and equity which work on algorithmic fairness, accountability, and transparency seeks to address. Therefore, we advocate in this work for diversifying computing as a core priority of the field and our efforts to achieve ethical AI practices. We draw connections between the lack of diversity within academic and professional computing fields and the type and breadth of the biases encountered in datasets, machine learning models, problem formulations, and interpretation of results. Examining the current fairness/ethics in AI literature, we highlight cases where this lack of diverse perspectives has been foundational to the inequity in treatment of underrepresented and protected group data. We also look to other professional communities, such as in law and health, where disparities have been reduced both in the educational diversity of trainees and among professional practices. We use these lessons to develop recommendations that provide concrete steps for the computing community to increase diversity.

研究の動機と目的

• 計算およびデータサイエンスコミュニティにおける多様性の欠如という根本的原因に向き合い、アルゴリズムバイアスを是正すること。
• AI研究における代表されないグループの欠如が、公平性、説明責任、透明性における盲点を生じることを浮き彫りにすること。
• 多様な視点が、データおよびモデル設計における構造的不平等を特定・是正するために不可欠であることを示すこと。
• メンターシップ、教育連携、コミュニティベースの研究協働といった、実行可能な戦略を提示し、より包摂的なAI研究エコシステムを構築すること。
• 下位から上へと動かす、コミュニティ中心の多様性アプローチを提唱し、代表されないグループが倫理的AIのリーダーとして自立することを支援すること。

提案手法

• アルゴリズムフェアネス分野の既存文献を分析し、多様な視点が欠如することでバイアスのあるモデル設計が生じた事例を同定すること。
• 計算分野における代表されない状況と、データセットおよびアルゴリズムにおけるシステム的バイアスとの類似性を明らかにすること。
• 法律および医療分野における成功した多様性イニシャチブを検討し、計算分野におけるベストプラクティスを導くこと。
• メンターシップおよびアフィニティワークショップ（例：ホワイト・ユニバーシティでのBPDMワークショップ）が、コミュニティ形成と技術的スキルの向上に果たす役割を強調すること。
• AI研究パイプラインにおける代表性を高めるために、マイノリティ支援機関（MSIs）と教育連携を提唱すること。
• 地域のドメインエキスパートと連携した研究パートナーシップを推進し、モデルが現実の社会的公平性の懸念を反映していることを保証すること。

実験結果

リサーチクエスチョン

• RQ1 計算研究における特定のデモグラフィックグループの代表されなさが、持続的なアルゴリズムバイアスにどのように寄与しているか。
• RQ2 均質な研究チームは、データおよびモデル設計における構造的不平等をどのように認識・是正できていないか。
• RQ3 メンターシップおよびコミュニティ形成プログラムが、AI研究における多様性と公平性をどのように高めているか。
• RQ4 マイノリティ支援機関およびコミュニティエキスパートと連携することで、AIシステムの公平性と関連性がどのように向上するか。
• RQ5 AIおよび倫理的コンピューティングにおける持続可能な多様性を実現するための、教育および研究文化におけるどのような制度的変化が必要か。

主な発見

• 計算コミュニティにおける多様性の欠如は、均質なチームが構造的不平等を認識・対処できないため、バイアスのあるデータセットおよびアルゴリズムの発生に直接寄与している。
• 多様な視点は、保護属性が直接使用されていない場合でも、間接的および明示的な差別を特定・是正するために不可欠である。
• メンターシップおよびアフィニティワークショップ（例：ホワイト大学でのBPDMワークショップ）は、コミュニティ形成、技術的スキルの習得、代表されないグループのデータサイエンス分野における代表性向上に成功している。
• マイノリティ支援機関との教育連携は、AIおよびデータサイエンス分野におけるより代表的な人材パイプラインの育成に寄与する。
• 地域のドメインエキスパートと連携したコミュニティベースの研究協働は、より公平で文脈的に関連性のあるモデル開発を実現する。
• AI研究コミュニティの多様化に意図的な取り組みがなければ、単にアルゴリズムの操作によって公平性を達成しようとする試みは、不十分かつ一時的なものに終わる。