[論文レビュー] Improved Adversarial Learning for Fair Classification

L. Elisa Celis, Vijay Keswani|arXiv (Cornell University)|Jan 29, 2019

Ethics and Social Impacts of AI参考文献 32被引用数 27

ひとこと要約

本稿では、修正された勾配降下・上昇更新を用いた多目的最適化として定式化することで、公平な分類のための改善された敵対的学習フレームワークを提案する。この手法は、Adultおよび合成データセットにおいて、精度を維持または向上させながら、統計的同等性と誤発見率という指標で測定した公平性性能を最先端水準にまで高める。収束性と公平性のトレードオフに関する理論的保証も与える。

ABSTRACT

Motivated by concerns that machine learning algorithms may introduce significant bias in classification models, developing fair classifiers has become an important problem in machine learning research. One important paradigm towards this has been providing algorithms for adversarially learning fair classifiers (Zhang et al., 2018; Madras et al., 2018). We formulate the adversarial learning problem as a multi-objective optimization problem and find the fair model using gradient descent-ascent algorithm with a modified gradient update step, inspired by the approach of Zhang et al., 2018. We provide theoretical insight and guarantees that formalize the heuristic arguments presented previously towards taking such an approach. We test our approach empirically on the Adult dataset and synthetic datasets and compare against state of the art algorithms (Celis et al., 2018; Zhang et al., 2018; Zafar et al., 2017). The results show that our models and algorithms have comparable or better accuracy than other algorithms while performing better in terms of fairness, as measured using statistical rate or false discovery rate.

研究の動機と目的

• 機械学習分類器におけるバイアスが、実世界の応用で不平等な結果をもたらすのを回避するため。
• 公平性に特化した敵対的モデルを導入することで、既存の敵対的学習手法の公平性を向上させるため。
• 加速勾配降下を用いた修正された更新ルールを導入することで、より効率的かつ理論的裏付けのある最適化アルゴリズムを開発するため。
• より未だに研究が進んでいない公平性指標である誤発見率同等性をサポートするように、敵対的フレームワークを拡張するため。
• 多目的最適化設定における収束性と公平性の代償（price of fairness）について理論的分析を提供するため。

提案手法

• 分類損失と公平性敵対損失のバランスをとる多目的最適化問題として、公平な分類を定式化する。
• 文献[34]にインspiredされた修正された勾配更新ルールを導入し、収束性と安定性を向上させる調整を施す。
• ノイズの含まれた勾配オラクルを用いて、加速勾配降下を適用し、最適化の効率を高める。
• 分類器の出力とラベルを用いて、感受性属性を予測する公平性敵対モデルを採用し、特定の公平性指標に適合させる。
• 統計的同等性または誤発見率同等性を強制するために、公平性損失に正則化項を組み込む。
• ブレグマンダイバージェンスと滑らかさの仮定を用いて、アルゴリズムの理論的収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習をどのように改善すれば、分類におけるより優れた公平性・精度のトレードオフを達成できるか？
• RQ2 勾配更新ルールにどのような修正を加えると、敵対的公平学習における収束性と性能が向上するか？
• RQ3 敵対的フレームワークを、より洗練された公平性指標である誤発見率同等性を強制するために拡張できるか？
• RQ4 モデルで完全な公平性を強制する際、理論的に公平性の代償（price of fairness）はどの程度か？
• RQ5 提案手法の性能は、さまざまな公平性指標において、最先端のアルゴリズムと比較してどのように差がつくか？

主な発見

• 提案手法は、Adultデータセットにおいて、最先端の手法と同等または優れた精度を達成するとともに、公平性指標を顕著に改善した。
• 感受性属性とラベルの相関が高い状況下でも、[34]および[32]よりも公平性が優れており、出力に失敗が生じない。
• 加速勾配降下に修正された更新を組み合わせることで、特にノイズの多い勾配下でも収束が速く、訓練がより安定した。
• 理論的分析により、アルゴリズムが(ε₁, ε₂)-解に収束し、公平性損失と分類損失のギャップにバウンドが得られることを示した。
• フレームワークは誤発見率同等性への拡張に成功し、敵対的学習が多様な公平性指標に適応可能であることを示した。
• 実験的結果から、ハイパーパramータαの変更に対してもアルゴリズムの性能が安定しており、実用的安定性が示された。