[論文レビュー] Approaching Machine Learning Fairness through Adversarial Network

Xiaoqian Wang, Heng Huang|arXiv (Cornell University)|Sep 6, 2019

Ethics and Social Impacts of AI参考文献 15被引用数 8

ひとこと要約

本論文では、データ表現とモデル予測を同時に最適化することで機械学習の公平性を向上させる、FAIASと呼ばれる新しい対抗的ネットワークフレームワークを提案する。特徴量のサンプリングと対抗的訓練を用いて感受性特徴量の影響を最小化することで、3つのベンチマークデータセットにおいて、公平性指標と予測精度の両面で最先端の性能を達成している。

ABSTRACT

Fairness is becoming a rising concern w.r.t. machine learning model performance. Especially for sensitive fields such as criminal justice and loan decision, eliminating the prediction discrimination towards a certain group of population (characterized by sensitive features like race and gender) is important for enhancing the trustworthiness of model. In this paper, we present a new general framework to improve machine learning fairness. The goal of our model is to minimize the influence of sensitive feature from the perspectives of both the data input and the predictive model. In order to achieve this goal, we reformulate the data input by removing the sensitive information and strengthen model fairness by minimizing the marginal contribution of the sensitive feature. We propose to learn the non-sensitive input via sampling among features and design an adversarial network to minimize the dependence between the reformulated input and the sensitive information. Extensive experiments on three benchmark datasets suggest that our model achieve better results than related state-of-the-art methods with respect to both fairness metrics and prediction performance.

研究の動機と目的

• 刑事裁判や信用スコアリングなど、高リスク分野におけるバイアスと差別のの懸念が高まる中、機械学習モデルの公平性を向上させること。
• 既存の公平性手法がデータまたはモデルの視点での最適化に限定されており、予測性能を低下させる可能性があるという限界を克服すること。
• データ入力レベルでの感受性特徴量の影響を同時に低減し、モデル予測におけるそのマージナル寄与度を最小化する統合フレームワークの開発。
• 対抗的訓練によってデータとモデルの最適化を結合し、予測性能を損なわせることなく公平性を向上させること。

提案手法

• 2段階の対抗的フレームワークを提案：非感受性特徴量を学習してサンプリングするセレクタ関数と、感受性特徴量のマージナル寄与度を最小化する予測器。
• 微分可能である selector ベクトル w = 1/(1+e^−θ) を用いてエンドツーエンドの学習を可能にし、学習された重要度に基づいて特徴量を選択しながらも、データに依存しない形を維持する。
• セレクタを、再定式化された入力と感受性特徴量の間の依存関係を最小化するように対抗的損失で訓練する。この依存関係はディスクラミネーターを用いて測定する。
• 予測器は標準の交差エントロピー損失で最適化するが、感受性特徴量のマージナル寄与度制約を課して公平性を確保する。
• 予測器には4層のニューラルネットワークを用い、SELU活性化関数とAdam最適化アルゴリズムを採用し、Keras/TensorFlow を用いて実装する。
• 特徴量の正規化を実施し、5回のランダム実行を含む60/20/20の訓練/検証/テスト分割を用いて、堅牢な評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 データ表現とモデル予測を同時に最適化する統合フレームワークは、予測性能を低下させることなく公平性を向上させることができるか？
• RQ2 対抗的訓練は、多様なデータセットにおいて感受性特徴量のモデル予測への影響をどの程度効果的に低減できるか？
• RQ3 データとモデルの視点を統合的に最適化することで、最先端の事前処理・事中処理・事後処理手法と比較して、より優れた公平性指標が得られるか？
• RQ4 対抗的セレクタによる特徴量のサンプリングは、予測の有用性を保持しつつ、どの程度感受性情報が除去されるか？
• RQ5 本手法は、実世界のデータセットにおいて、等しい機会、平均オッズ、Theil 指数といった複数の公平性指標において、公平性と正確性の両面でどのように比較されるか？

主な発見

• FAIAS は、3つのベンチマークデータセットすべてにおいて、ベースラインおよび4つの最先端の公平性手法を上回る最高の分類精度とバランス精度を達成した。
• COMPAS データセットでは、FAIAS が絶対的等しい機会差を 0.028 まで低減し、他の手法と比較して顕著に高い公平性を示した。
• バンクマーケティングデータセットでは、FAIAS が平均オッズ差を 0.031 まで最小化し、年齢層ごとのグループ公平性が向上した。
• FAIAS の Theil 指数は、常にゼロに近い値（例：COMPAS データセットでは 0.012）を示しており、グループ公平性と個人公平性の両面で優れた性能を発揮している。
• FAIAS は、最先端の公平性を達成しながらも高い予測性能を維持しており、公平性制約がモデルの正確性を損なわないことを示している。
• 対抗的特徴量セレクタは、再定式化された入力と感受性特徴量の間の依存関係が低いため、入力表現から感受性情報が効果的に除去されたことが裏付けられた。