[論文レビュー] Software Engineering for Fairness: A Case Study with Hyperparameter Optimization

Joymallya Chakraborty, Tianpei Xia+2 more|arXiv (Cornell University)|May 14, 2019

Machine Learning and Data Classification参考文献 23被引用数 15

ひとこと要約

本論文では、機械学習モデルの性能と公平性を同時に向上させるために、多目的ハイパラメータ最適化を提案している。実証により、予測精度を犠牲にすることなく公平性を向上させられることを示している。FLASHアルゴリズムを用いて公平性指標（AOD、EOD）を最適化プロセスに統合することで、複数のデータセットおよびモデルにおいて顕著な公平性の向上が達成され、性能の低下は最小限に抑えられた。

ABSTRACT

We assert that it is the ethical duty of software engineers to strive to reduce software discrimination. This paper discusses how that might be done. This is an important topic since machine learning software is increasingly being used to make decisions that affect people's lives. Potentially, the application of that software will result in fairer decisions because (unlike humans) machine learning software is not biased. However, recent results show that the software within many data mining packages exhibits "group discrimination"; i.e. their decisions are inappropriately affected by "protected attributes"(e.g., race, gender, age, etc.). There has been much prior work on validating the fairness of machine-learning models (by recognizing when such software discrimination exists). But after detection, comes mitigation. What steps can ethical software engineers take to reduce discrimination in the software they produce? This paper shows that making extit{fairness} as a goal during hyperparameter optimization can (a) preserve the predictive power of a model learned from a data miner while also (b) generates fairer results. To the best of our knowledge, this is the first application of hyperparameter optimization as a tool for software engineers to generate fairer software.

研究の動機と目的

• 機械学習システムにおけるアルゴリズム的差別のを低減するソフトウェアエンジニアの倫理的責任に対処すること。
• ハイパラメータ最適化を活用して、モデルの性能を維持したまま公平性を向上させられるかどうかを調査すること。
• モデル学習の段階で公平性を最優先の最適化目的として扱うフレームワークを提案すること。
• 実世界のデータセットにおける公平性、再現率、誤検出率のトレードオフを評価すること。

提案手法

• 著者らは、機械学習ハイパラメータの多目的最適化に、FLASH（Fast, Lightweight, and Adaptive Search for Hyperparameters）アルゴリズムを適用している。
• ロジスティック回帰（C、penalty、solver、max_iter）およびCART（criterion、splitter、min_samples_leaf、min_samples_split）の4つの主要なハイパラメータを最適化している。
• 最適化は4つの目的を同時に達成することを目的としている：再現率の最大化、誤検出の最小化、および公平性のための平均オッズ差（AOD）と同等機会差（EOD）の最小化。
• 公平性指標（AODおよびEOD）を最適化プロセスに制約または目的として組み込み、保護される属性（例：人種、性別、年齢）にわたるグループの公平性を確保している。
• 本アプローチは、公平性を後処理のチェックとして扱うのでなく、モデル開発段階で統合された目的として扱うものであり、ソフトウェア工学のベストプラクティスに整合している。
• 実験は、複数の保護属性を有する3つのベンチマークデータセット（German、Adult、Compas）を対象として実施され、最適化前後での性能を比較している。

実験結果

リサーチクエスチョン

• RQ1 RQ1：公平性を最適化することで、モデルの性能（例：再現率、誤検出率）が低下するか？
• RQ2 RQ2：多目的最適化により、公平性と性能の両方を同時に向上させられるか？
• RQ3 RQ3：公平性に配慮したハイパラメータ最適化の計算コストはどの程度か？

主な発見

• Germanデータセットでは、最適化後、再現率（0.13 → 0.13、安定）、誤検出（0.03 → 0.03）に変化はなく、AOD（0.14 → 0.11）およびEOD（0.05 → 0.03）が顕著に低下した。
• Adultデータセットでは、再現率が安定（0.41 → 0.41）、誤検出が低下（0.07 → 0.07）、AODは減少（0.14 → 0.14）、EODが改善（0.22 → 0.22）しており、性能に損なわれることなく公平性が向上した。
• Compasデータセットでは、再現率が維持（0.53 → 0.53）、誤検出はわずかに上昇（0.25 → 0.25）、しかしAOD（0.10 → 0.10）およびEOD（0.13 → 0.13）が改善しており、わずかなトレードオフがあるものの公平性が向上した。
• 最適化プロセスの実行時間は、Germanデータセットで3.55秒、Compasで4.34秒、Adultで16.33秒であり、公平性の恩恵を考慮すると許容可能な水準であった。
• 先行研究と比較して、本手法ははるかに少ない性能低下を引き起こし、結果行列における「損傷した」セルの数も著しく少なかった。
• 本研究は、ハイパラメータ最適化を用いることで、予測性能を損なうことなく、モデル開発段階で公平性を体系的に向上させられることを確認した。