[論文レビュー] Data preprocessing to mitigate bias: A maximum entropy based approach

L. Elisa Celis, Vijay Keswani+1 more|arXiv (Cornell University)|Jun 5, 2019

Ethics and Social Impacts of AI参考文献 36被引用数 21

ひとこと要約

この論文は、最大エントロピーに基づくデータ前処理フレームワークを提案し、元のデータへの忠実性を保ちながら大規模ドメインにおける公平な分布を学習することで、データセット内のバイアスを軽減する。多項式時間の最適化により、統計的同等性と制御されたグループ表現を効率的に強制し、下流の分類タスクにおける精度の低下を最小限に抑えることで、公平性を実現する。

ABSTRACT

Data containing human or social attributes may over- or under-represent groups with respect to salient social attributes such as gender or race, which can lead to biases in downstream applications. This paper presents an algorithmic framework that can be used as a data preprocessing method towards mitigating such bias. Unlike prior work, it can efficiently learn distributions over large domains, controllably adjust the representation rates of protected groups and achieve target fairness metrics such as statistical parity, yet remains close to the empirical distribution induced by the given dataset. Our approach leverages the principle of maximum entropy - amongst all distributions satisfying a given set of constraints, we should choose the one closest in KL-divergence to a given prior. While maximum entropy distributions can succinctly encode distributions over large domains, they can be difficult to compute. Our main contribution is an instantiation of this framework for our set of constraints and priors, which encode our bias mitigation goals, and that runs in time polynomial in the dimension of the data. Empirically, we observe that samples from the learned distribution have desired representation rates and statistical rates, and when used for training a classifier incurs only a slight loss in accuracy while maintaining fairness properties.

研究の動機と目的

• 性別や人種などの保護対象グループが過剰または不足して表現されるデータセット内のバイアスに対処すること。
• 元のデータ分布を歪めることなく公平性を維持するスケーラブルな前処理手法を開発すること。
• 公平性制約を満たしつつ、保護対象グループの表現率を制御可能に調整できること。
• 多項式時間で実行可能であることを保証し、高次元データに応用可能であること。
• 統計的同等性やその他の公平性指標を満たしつつ、下流タスクにおけるモデルの精度を維持すること。

提案手法

• 最大エントロピーの原則を活用し、KLダイバージェンスにおいて事前分布に最も近い分布を選択する。この際、公平性制約を課す。
• 保護対象グループのターゲット表現率を強制する制約を定義し、統計的同等性を達成する。
• 大規模ドメイン上で多項式時間で計算可能な扱いやすい最適化定式化を用いる。
• 元のデータセットへの忠実性を維持するため、経験的データ分布に基づいて事前分布を構築する。
• 制約付き最適化問題を効率的に解くためにラグランジュ緩和を適用する。
• 下流学習に使用するため、学習された公平な分布から再重み付け済みまたは合成サンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピーフレームワークは、スケーラビリティが保証される形で、データ前処理におけるバイアス軽減に効果的に適応可能か？
• RQ2 経験的データ分布に近いままに、この手法はどの程度グループ表現率を制御可能か？
• RQ3 下流分類に学習された分布を用いる際、公平性と精度のトレードオフはどのように振る舞うか？
• RQ4 前処理段階でモデルの予測結果にアクセスせずに、統計的同等性やその他の公平性指標を達成可能か？
• RQ5 高次元データセット上で、このアプローチの計算効率はどの程度か？

主な発見

• 提案手法は、多項式時間の複雑度で大規模ドメインにおける公平な分布を学習できることを示した。
• 学習された分布から抽出されたサンプルは、保護対象グループの希望される表現率を達成している。
• 元のデータ分布から著しく逸脱することなく、統計的同等性やその他の公平性指標を維持している。
• 再重み付け済みデータで訓練された下流分類器は、公平性を保ちつつわずかな精度の低下しか被らない。
• 公平性と忠実性のバランスを効果的にとらせており、実世界のデータセットへの実用的妥当性を示している。