[論文レビュー] Generative Adversarial Networks for Mitigating Biases in Machine Learning Systems

Adel Abusitta, Esma Aı̈meur+1 more|arXiv (Cornell University)|May 23, 2019

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本稿では、機械学習におけるバイアスを軽減するため、代表的でない人口集団のための合成的で公平なデータを生成する条件付き生成対抗ネットワーク（cGAN）ベースのフレームワークを提案する。特定の文化的背景を持つ集団に特化したcGANによるサンプルを訓練データに追加することで、バイアスを低減するとともに、UCI AdultおよびAdienceデータセット上で最大85.5%の精度と92.27%の全体的なパフォーマンスを達成し、モデルの精度を向上させた。

ABSTRACT

In this paper, we propose a new framework for mitigating biases in machine learning systems. The problem of the existing mitigation approaches is that they are model-oriented in the sense that they focus on tuning the training algorithms to produce fair results, while overlooking the fact that the training data can itself be the main reason for biased outcomes. Technically speaking, two essential limitations can be found in such model-based approaches: 1) the mitigation cannot be achieved without degrading the accuracy of the machine learning models, and 2) when the data used for training are largely biased, the training time automatically increases so as to find suitable learning parameters that help produce fair results. To address these shortcomings, we propose in this work a new framework that can largely mitigate the biases and discriminations in machine learning systems while at the same time enhancing the prediction accuracy of these systems. The proposed framework is based on conditional Generative Adversarial Networks (cGANs), which are used to generate new synthetic fair data with selective properties from the original data. We also propose a framework for analyzing data biases, which is important for understanding the amount and type of data that need to be synthetically sampled and labeled for each population group. Experimental results show that the proposed solution can efficiently mitigate different types of biases, while at the same time enhancing the prediction accuracy of the underlying machine learning model.

研究の動機と目的

• モデル学習アルゴリズムの調整にとどまらず、バイアスの根本原因である偏った訓練データに焦点を当てることで、機械学習システムにおけるバイアスの原因を解消すること。
• 既存のモデルベースの緩和手法に内在する公平性と精度のトレードオフを克服すること。
• 代表的でない集団におけるデータ不足や不均衡を補うために、合成データを生成することで訓練時間の短縮と効率の向上を図ること。
• バイアスの種類や集団のニーズに関する専門知識に基づき、ターゲットを絞った合成データの生成を可能にする、ドメインに配慮したデータ拡張を提供すること。
• バイアス分析とデータ生成を統合し、必要不可欠で関連性のある合成データのみを生成することを保証すること。

提案手法

• 本フレームワークは、代表的でない文化的背景を持つ集団に特化した特定の属性を持つ高品質な合成データを生成するために、条件付きGAN（cGAN）を採用する。
• 生成器（Gen）と識別器（Dis）の間でミニマックス2人ゲームが訓練され、Genはターゲット集団の真のデータ分布を学習する。
• 生成器は、クラスラベルや文化的背景属性に条件付けられ、望ましい公平性特性を持つデータを生成する。
• 代表的でない集団の実際のデータ分布に基づいて合成データが生成され、元の訓練セットに追加される。
• フレームワークはバイアス分析モジュールと統合されており、どの程度でどのようなタイプのデータを合成的に生成すべきかを指針とする。
• 最終的なモデルは、元のデータと合成データの組み合わせたデータセット上で訓練され、公平性と精度の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 cGANベースのデータ生成は、予測精度を低下させることなく、機械学習モデルのバイアスを効果的に低減できるか？
• RQ2 cGANを用いた合成データ拡張は、ベースラインおよびピvォットベースの手法と比較して、さまざまな文化的背景集団における公平性と精度の観点でどのように異なるか？
• RQ3 ドメインに配慮した合成データ生成は、不要なデータ合成を最小限に抑えることで、モデルパフォーマンスの向上にどの程度寄与できるか？
• RQ4 バイアス分析とデータ生成の統合は、より効率的かつ的確なバイアス緩和に繋がるか？
• RQ5 提案されたフレームワークは、大量のハイパーパramータチューニングを要するモデルベースの公平性技術と比較して、訓練時間を短縮できるか？

主な発見

• UCI Adultデータセットでは、提案手法が85.5%の精度を達成し、900 HUsでベースライン（82.9%）およびピボットベース手法（77.3%）を顕著に上回った。
• Adienceデータセットでは、提案手法が92.27%の全体精度を達成し、900 HUsでベースライン（86.40%）およびピボットベース手法（81.37%）を上回った。
• 肌の色が濃い女性の分類精度は、cGANによる合成サンプルによるデータ拡張後、68.4%から88.6%に向上し、強いバイアス緩和効果が示された。
• 白人男性（99.7%）および白人女性（92.5%）の両グループにおいても高い精度を維持しており、文化的背景ごとのパフォーマンスがバランスが取れていることが示された。
• モデルベースのアプローチで見られる公平性と精度のトレードオフを軽減し、既存の手法よりも高い公平性と高い精度の両方を達成した。
• バイアス分析とデータ生成の統合により、的確で効率的なデータ合成が可能になり、重複したり不要な合成サンプルの生成が最小限に抑えられた。