[論文レビュー] Bias in Data-driven AI Systems -- An Introductory Survey

Eirini Ntoutsi, Pavlos Fafalios+21 more|arXiv (Cornell University)|Jan 14, 2020

Ethics and Social Impacts of AI参考文献 86被引用数 21

ひとこと要約

本サーベイは、データ駆動型AIシステムにおけるバイアスについて、理解・緩和・バイアスの考慮の3つの側面に分類して、包括的かつ多様な視点からの概要を提供する。技術的解決策と法的・倫理的枠組みを統合し、事前処理、処理中処理、事後処理の技術的手法を通じた公平性に配慮したAI設計の必要性を強調する一方で、純粋な技術的解決策の限界と、法的・社会的連携の重要性を指摘する。

ABSTRACT

AI-based systems are widely employed nowadays to make decisions that have far-reaching impacts on individuals and society. Their decisions might affect everyone, everywhere and anytime, entailing concerns about potential human rights issues. Therefore, it is necessary to move beyond traditional AI algorithms optimized for predictive performance and embed ethical and legal principles in their design, training and deployment to ensure social good while still benefiting from the huge potential of the AI technology. The goal of this survey is to provide a broad multi-disciplinary overview of the area of bias in AI systems, focusing on technical challenges and solutions as well as to suggest new research directions towards approaches well-grounded in a legal frame. In this survey, we focus on data-driven AI, as a large part of AI is powered nowadays by (big) data and powerful Machine Learning (ML) algorithms. If otherwise not specified, we use the general term bias to describe problems related to the gathering or processing of data that might result in prejudiced decisions on the bases of demographic features like race, sex, etc.

研究の動機と目的

• データ駆動型AIシステムにおけるバイアスについて、技術的・倫理的・法的視点を統合した広範かつ多様な概要を提供すること。
• AI意思決定におけるバイアスの理解・緩和・考慮のための技術的手法を特定・分類すること。
• 特にEUの規制文脈を踏まえたAIの公平性の法的基盤を検討し、現在の立法におけるギャップを明らかにすること。
• 技術的解決策だけでは不十分であり、技術者、法的専門家、社会が連携する必要性を強調すること。
• 今後の研究が、倫理的根拠に基づき、法的要件を満たし、社会的責任を果たすAIシステムへと向かうように導くこと。

提案手法

• バイアス緩和を3段階に分類：事前処理（訓練データにおけるバイアス補正）、処理中処理（公平性に配慮した学習アルゴリズム）、事後処理（モデル出力の調整）。
• 公平性の形式的定義（人口統計的均等、同等の機会、等価なオッズ）をレビューし、技術的・倫理的トレードオフを明確にする。
• COMPAS（再犯予測における人種的バイアス）やGoogle Ads（求人広告における性別バイアス）といった事例研究を分析し、実世界での現れ方を説明する。
• GANを用いた合成データ生成による公平性の向上を検討するが、代表性の欠如やバイアスの強化リスクについても警告する。
• 開発チームにおける認知バイアスを軽減する戦略を提案する。具体的には、多様性の向上と、逆方向工学によるアルゴリズムの透明性の向上を含む。
• EUの「信頼性のあるAIのための倫理的指針」とISO 8000のデータ品質基準といった法的・規制的動向をレビューし、AIの公平性への関連性を評価する。

実験結果

リサーチクエスチョン

• RQ1 バイアスはどのようにデータ駆動型AIシステムに侵入するのか。訓練データおよびモデル予測における不平等の主な原因は何か。
• RQ2 AIライフサイクルの各段階（事前処理、処理中処理、事後処理）において、バイアスの検出・測定・緩和に役立つ技術的手法は何か。
• RQ3 AIの公平性はどのように法的・倫理的に根拠づけられ、規制や基準は責任あるAI設計にどのような役割を果たすのか。
• RQ4 技術的解決策だけでは、体系的な社会的バイアスをどの程度是正できるのか。現在の公平性に配慮した機械学習アプローチの限界は何か。
• RQ5 GANやその他の生成モデルを用いた合成データ生成において、代表性と公平性を確保する上で直面する主な課題は何か。

主な発見

• AIシステムにおけるバイアスは、しばしば歴史的・社会的不平等に起因し、データ収集とモデル学習プロセスによって悪化する。COMPASやGoogle Adsの事例がそれを裏付けている。
• 事前処理の重み付け再調整、処理中処理の敵対的バイアス除去、事後処理のしきい値調整といった技術的手法により、人種的差異は軽減可能だが、公平性と予測性能の間にはトレードオフが伴う。
• 生成的敵対ネットワーク（GAN）を用いた合成公平データの生成は有望であるが、訓練データ自体がバイアスを含む場合、代表性の問題が悪化するか、バイアスが強化されるリスクを伴う。
• 開発チームにおける認知バイアス、特に優位なグループがアイデンティティのカテゴリーについての認識が欠如していることが、AIシステムにおけるバイアスの発生に大きく寄与している。
• EUにおける現在の法的枠組み（「信頼性のあるAIのための倫理的指針」および「AI法の草案」）は、一般的であり、アルゴリズムの公平性に関する拘束力のある基準を欠いており、より具体的な規制の必要性が浮き彫りになっている。
• EU加盟国間でアルゴリズムの公平性に関する規制に合意が得られておらず、有効な立法は法的専門家と技術研究者との密接な連携を要する。