[論文レビュー] Identifying Bias in AI using Simulation

Daniel McDuff, R.S. Cheng+1 more|arXiv (Cornell University)|Sep 30, 2018

Machine Learning and Data Classification参考文献 22被引用数 21

ひとこと要約

本稿では、高精度なコンピュータシミュレーションとベイズ最適化を組み合わせることで、事前学習済みの顔検出APIにおける人種的・人口統計的バイアスを体系的かつ効率的に同定する手法を提案する。肌色、年齢、照明などの多様な属性を想定した合成顔面データを生成することで、失敗事例を的確に特定する。ランダムサンプリングと比較して44%の検出効率の向上を示し、特に濃い肌色や高齢者の顔において顕著な性能低下が確認された。

ABSTRACT

Machine learned models exhibit bias, often because the datasets used to train them are biased. This presents a serious problem for the deployment of such technology, as the resulting models might perform poorly on populations that are minorities within the training set and ultimately present higher risks to them. We propose to use high-fidelity computer simulations to interrogate and diagnose biases within ML classifiers. We present a framework that leverages Bayesian parameter search to efficiently characterize the high dimensional feature space and more quickly identify weakness in performance. We apply our approach to an example domain, face detection, and show that it can be used to help identify demographic biases in commercial face application programming interfaces (APIs).

研究の動機と目的

• 不均衡または代表的でない学習データに起因する商業的顔検出APIにおける人口統計的バイアスを診断すること。
• 顔の属性の高次元特徴空間におけるモデル性能をスケーラブルにプローブする手法を開発すること。
• 知的なサンプリング戦略により、失敗事例の特定に必要なシミュレーション回数を削減すること。
• 合成データ生成が、現実世界のAIシステムにおける体系的で繰り返し可能かつ効率的なバイアスの解明を可能にすることを実証すること。

提案手法

• 著者らは、人種的および環境的パラメータに応じて制御された変動を持つ合成顔画像を生成する高精度なシミュレーションフレームワークを構築した。
• 失敗事例を引き起こしうる領域を優先的に探索するため、高次元パラメータ空間を知的にサンプリングするベイズ最適化（BO）戦略を採用した。
• 肌色（Fitzpatrickスケール）、年齢（しわの程度）、照明、アングル、顔の表情といった重要な変数を制御した。
• Microsoft、Face++、Google、IBMの顔検出APIを、合成データセット上で評価し、異なる人口統計的グループにおける検出精度を測定した。
• 真陽性率と偽陰性率を用いて性能を評価し、異なるサンプリング戦略間での統計的差を比較した。
• ランダムまたはグリッドベースのサンプリングではなく、高影響度のパラメータコンビネーションに集中することで、効率的な失敗事例の発見が可能になった。

実験結果

リサーチクエスチョン

• RQ1 顔検出APIの性能を、多様な人口統計的および環境的属性にわたり体系的にプローブするにはどうすればよいか？
• RQ2 商業的顔検出APIは、濃い肌色や高齢の外見を持つ人々の検出において、どの程度バイアスを示すか？
• RQ3 ランダムサンプリングと比較して、ベイズ最適化は失敗事例の特定に必要なシミュレーション回数を著しく削減できるか？
• RQ4 異なるAPIの性能は、肌色や年齢によってどのように変動し、その失敗パターンを生じさせる要因は何か？

主な発見

• 顔検出APIは、肌色が濃い（Fitzpatrick V–VI）および高齢の外見を示す顔において、顕著に高い偽陰性率を示し、人口統計的バイアスが確認された。
• 800回のシミュレーション後、ベイズ最適化により724件の失敗事例が同定された。これはランダムサンプリングで得られた503件と比較して44%の改善効果を示した。
• IBM APIは、過去のバイアスに関する公表後のモデル改善が反映されており、最もバイアスが少なかった。
• ベイズ最適化による効率性向上は、最もバイアスが少ないモデル（IBM）において顕著に現れ、難易度の高い失敗事例のスケーラビリティが向上した。
• シミュレーションフレームワークは、全テスト対象APIにおいて一貫した失敗パターンを明らかにした。これは、過去の実世界データセットで観察されたバイアスを裏付けるものであった。
• 本研究は、合成データ生成が、繰り返し可能でスケーラブルかつ的を射ねたAIシステムのバイアス診断を可能にすることを示した。