[論文レビュー] Data, Power and Bias in Artificial Intelligence

Susan Leavy, Barry O’Sullivan+1 more|arXiv (Cornell University)|Jul 28, 2020

Ethics and Social Impacts of AI参考文献 17被引用数 25

ひとこと要約

この論文は、データ収集の政治的・イdeオロギカルな性質ゆえにAIにおけるバイアスは避けられないものであると主張し、AI開発に批判的人種理論、フェミニズム、データ正義を統合することを提案する。AIにおける公平性は文脈依存的であり、補正、予測同一性、同等の機会といった複数の相互に排他的な公平性の定義が存在し、それがトレードオフを避けられないものとして示されている。これはCOMPAS再犯予測アルゴリズムの事例研究によって裏付けられている。

ABSTRACT

Artificial Intelligence has the potential to exacerbate societal bias and set back decades of advances in equal rights and civil liberty. Data used to train machine learning algorithms may capture social injustices, inequality or discriminatory attitudes that may be learned and perpetuated in society. Attempts to address this issue are rapidly emerging from different perspectives involving technical solutions, social justice and data governance measures. While each of these approaches are essential to the development of a comprehensive solution, often discourse associated with each seems disparate. This paper reviews ongoing work to ensure data justice, fairness and bias mitigation in AI systems from different domains exploring the interrelated dynamics of each and examining whether the inevitability of bias in AI training data may in fact be used for social good. We highlight the complexity associated with defining policies for dealing with bias. We also consider technical challenges in addressing issues of societal bias.

研究の動機と目的

• 歴史的・社会的不正が訓練データにどのように埋め込まれ、AIシステムによってどのように継続されるかを検討すること。
• データと機械学習における客観性の神話に挑戦し、データキュレーションが本質的に政治的であると主張すること。
• 特に刑事司法のようなハイリスクなシステムにおいて、AIにおける複数の公平性定義の不一致を調査すること。
• AI設計およびデータキュレーションプロセスに批判的人種理論、フェミニズム、社会正義の視点を統合することを提唱すること。
• 影響を受けるコミュニティがデータの解体とシステム設計に実際に参加できるようにすることで、倫理的なAIを実現する必要性を強調すること。

提案手法

• COMPASのような実世界のAIシステムを分析し、補正、予測同一性、同等の機会といった複数の基準における公平性を評価する。
• Kleinbergら（2017）の形式的公平性定義を用いて、COMPASデータセットにおける公平性指標間のトレードオフを定量化する。
• 人種グループごとの再犯率および予測誤差の統計的分析を用いて、過大予測と過小予測の比較を行う。
• データ再重み付け、再サンプリング、ワード埋め込みのバイアス除去といった技術的緩和戦略をレビューし、訓練データ内のバイアスに対処する。
• 倫理的トレードオフをモデル学習に統合する公平性制約を備えたバイアス認識学習を最適化問題として提案する。
• フェミニズム、批判的人種理論といった批判理論フレームワークを用い、データキュレーションを中立的な技術的プロセスではなく、政治的行為として再定義する。

実験結果

リサーチクエスチョン

• RQ1 AIデータおよび訓練プロセスにおける客観性がなぜ本質的に達成不可能なのであろうか？
• RQ2 補正、予測同一性、同等の機会といったAIにおける異なる公平性定義が、なぜ互いに矛盾するのであろうか？
• RQ3 データが歴史的不正を反映している場合、技術的解決策だけではAIにおける社会的バイアスをどれほど軽減できるのであろうか？
• RQ4 フェミニズムや批判的人種理論といった批判理論が、倫理的なデータキュレーションおよびAIシステム設計をどのように再定義するのであろうか？
• RQ5 マイノリティコミュニティは、言語ベースのデータの解体および公平性評価において、どのように意味的に参加できるのであろうか？

主な発見

• COMPASアルゴリズムは人種グループごとに良好に補正されている（Black被告の63%、White被告の59.1%が高リスクと分類された）ため、公平性基準の一つを満たしている。
• 補正が達成されているにもかかわらず、このシステムは顕著な人種的バイアスを示している：Black被告の47%が誤って再犯すると予測された一方、White被告では24%であった。
• Black被告はWhite被告よりも高リスクと誤って分類される確率が高かった（805/1714 = 47% 対 349/1488 = 24%）、これは予測同一性の違反を示している。
• 再犯者の中で誤って低リスクとラベル付けされたBlack被告の割合（28%）は、White再犯者（48%）よりも高かった。これは同等の機会の失敗を示している。
• この研究は、一般条件下で補正、予測同一性、同等の機会といった公平性基準が互いに排他的であることを確認しており、トレードオフを避けられないことを示している。
• 論文は、トレードオフなしではバイアスを完全に排除することは不可能であり、倫理的なAIの実現には技術的対策を超えた政治的・社会的枠組みが必要であると結論づけている。