[論文レビュー] Oxford Handbook on AI Ethics Book Chapter on Race and Gender

Timnit Gebru|arXiv (Cornell University)|Aug 8, 2019

Ethics and Social Impacts of AI参考文献 8被引用数 31

ひとこと要約

この章では、ティムニット・ゲブリが人工知能（AI）における構造的な人種的・性別のバイアスを検討し、顔認識や再犯予測ツールなどのAIシステムが、マイノリティ層に不均等に悪影響を及べることを強調している。実証的研究や事例に基づき、多面的なAI倫理の枠組みを提唱している。その枠組みには、多様な開発チームの構成、規制基準、歴史的文脈の理解が含まれ、被害を軽減することを目的としている。

ABSTRACT

From massive face-recognition-based surveillance and machine-learning-based decision systems predicting crime recidivism rates, to the move towards automated health diagnostic systems, artificial intelligence (AI) is being used in scenarios that have serious consequences in people's lives. However, this rapid permeation of AI into society has not been accompanied by a thorough investigation of the sociopolitical issues that cause certain groups of people to be harmed rather than advantaged by it. For instance, recent studies have shown that commercial face recognition systems have much higher error rates for dark skinned women while having minimal errors on light skinned men. A 2016 ProPublica investigation uncovered that machine learning based tools that assess crime recidivism rates in the US are biased against African Americans. Other studies show that natural language processing tools trained on newspapers exhibit societal biases (e.g. finishing the analogy "Man is to computer programmer as woman is to X" by homemaker). At the same time, books such as Weapons of Math Destruction and Automated Inequality detail how people in lower socioeconomic classes in the US are subjected to more automated decision making tools than those who are in the upper class. Thus, these tools are most often used on people towards whom they exhibit the most bias. While many technical solutions have been proposed to alleviate bias in machine learning systems, we have to take a holistic and multifaceted approach. This includes standardization bodies determining what types of systems can be used in which scenarios, making sure that automated decision tools are created by people from diverse backgrounds, and understanding the historical and political factors that disadvantage certain groups who are subjected to these tools.

研究の動機と目的

• AIシステムが、高水準の応用分野において人種的・性別的格差を継続的・強化的に生じさせている仕組みを調査すること。
• 顔認識や刑事司法アルゴリズムにおいて顕著なバイアスを示したAIツールの実世界の事例を分析すること。
• マイノリティコミュニティに対する過剰な監視と過剰な自動化を引き起こす社会的・構造的要因を検討すること。
• 技術的解決策を超えて、開発における多様性と政策規制を含む包括的アプローチを提唱すること。
• 公平なAIシステムを設計するにあたり、歴史的・政治的文脈を理解することが不可欠であることを強調すること。

提案手法

• 肌の色と性別ごとの顔認識誤り率に関する実証的研究のレビュー。
• COMPAS再犯予測ツールの人種的バイアスを暴いたProPublica調査の分析。
• 歴史的新聞記事を学習データに用いた自然言語処理（NLP）モデルに見られるバイアスの検証。
• 所得格差に基づく自動意思決定システムへの差別の的適用の分析。
• 制度的・社会的・技術的対策を含む、システムレベルのAI倫理の枠組みの提言。
• 多様なチームや標準化機関が、倫理的なAI導入に果たす役割の強調。

実験結果

リサーチクエスチョン

• RQ1 商業用顔認識システムは、性別および肌の色の異なる集団において、どのように性能に差を示すか？
• RQ2 機械学習ツールが、再犯予測という文脈で刑事司法制度にどの程度人種的バイアスを示しているか？
• RQ3 自然言語処理（NLP）モデルは、社会的な性別ステレオタイプをどのように反映・再現しているか？
• RQ4 なぜ低所得層の個人は、高所得層よりも自動意思決定システムに頻繁にさらされるのか？
• RQ5 AIシステムがマイノリティコミュニティに不均等に悪影響を及えないようにするために、どのような制度的・構造的変化が必要か？

主な発見

• 商業用顔認識システムは、肌の色が濃い女性の誤り率が、肌の色が薄い男性よりも顕著に高い。
• COMPAS再犯予測ツールは、アフリカ系アメリカ人の被疑者に対して白人被疑者よりも高い偽陽性率を示した。
• 新聞記事を学習データに用いた自然言語処理（NLP）モデルは、『男はコンピュータープログラマーであるのに対し、女は家庭教師である』のような性別ステレオタイプの類似語を生成した。
• 低所得層の個人は、高所得層の個人よりも多くの自動意思決定ツールにさらされている。
• AIシステムは、最もバイアスが顕著に現れる文脈に、しばしば導入されている。これは、公平な監視が欠如していることを示している。
• AIバイアスに対する包括的解決策は、技術的修正を超える必要がある。多様な開発チーム、規制基準、歴史的・政治的パワー構造への注意が不可欠である。