[論文レビュー] Fairness guarantee in multi-class classification

Christophe Denis, Romuald Élie+2 more|arXiv (Cornell University)|Sep 28, 2021

Ethics and Social Impacts of AI参考文献 22被引用数 11

ひとこと要約

本論文は、近似的な公平性（ε-公平性）を明示的に制御できる多クラス分類のデータ駆動型後処理手法を提案する。この手法は、人口統計的同等性（DP）の下で公平性を保証し、閉形式の最適公平分類器を導出し、分布に依存しない公平性およびリスクの保証を確立する。収束速度が速く、合成データおよび実世界のデータセットにおいて最先端の手法を上回る性能を発揮するが、再訓練を必要とせず、任意のベース推定器を用いることができる。

ABSTRACT

Algorithmic Fairness is an established area of machine learning, willing to reduce the influence of hidden bias in the data. Yet, despite its wide range of applications, very few works consider the multi-class classification setting from the fairness perspective. We focus on this question and extend the definition of approximate fairness in the case of Demographic Parity to multi-class classification. We specify the corresponding expressions of the optimal fair classifiers. This suggests a plug-in data-driven procedure, for which we establish theoretical guarantees. The enhanced estimator is proved to mimic the behavior of the optimal rule both in terms of fairness and risk. Notably, fairness guarantees are distribution-free. The approach is evaluated on both synthetic and real datasets and reveals very effective in decision making with a preset level of unfairness. In addition, our method is competitive (if not better) with the state-of-the-art in binary and multi-class tasks.

研究の動機と目的

• 多クラス分類設定における理論的かつ実用的な公平性手法の不足に対処すること。
• 近似的な公平性（ε-公平性）の概念を、厳密な理論的分析を伴って多クラス分類に拡張すること。
• 再トレーニングを必要とせず、事前に指定されたレベルで公平性を強制するプラグイン手順を開発すること。
• 有限標本における公平性およびリスクの保証を確立し、分布に依存しない境界と収束速度を含むこと。
• 多様なデータセットおよびベース推定器（特にラベル付きデータが少ない場合を含む）において、強固な性能を示すこと。

提案手法

• 多クラス設定における正確および近似的な人口統計的同等性制約の下で、最適公平分類器の閉形式表現を導出すること。
• 2段階の後処理アルゴリズムを提案：まず条件付きクラス確率を推定し、次にそれを公平性制約を満たすように最適にシフトすること。
• 制約付き最小化を用いて公平性を強制しながら予測リスクを最小化し、解が最適ルールを模倣することを保証すること。
• 分布に依存しない公平性保証を確立し、期待値および高確率の両方で有効であること。
• マージン型仮定の下で高速な収束速度を証明し、理論的堅牢性を強化すること。
• 任意の市販の確率的分類器に適用可能であり、即座に公平性を強制するプラグアンドプレイな手法を実現すること。

実験結果

リサーチクエスチョン

• RQ1 人口統計的同等性と近似的な公平性（ε-公平性）の下で、多クラス分類における最適公平分類器は何か？
• RQ2 多クラス設定において、公平性とリスクを分布に依存しない方法で同時に保証するにはどうすればよいか？
• RQ3 マージン型仮定の下で、提案手法の公平分類器の有限標本収束速度はどの程度か？
• RQ4 最先端の公平学習手法と比較して、公平性および正確性の観点で本手法はどのように性能を発揮するか？
• RQ5 本手法は、多様なデータセットおよびベース推定器において、事前に指定された不平等度（ε）を効果的に実現できるか？

主な発見

• 提案手法は、期待値および高確率の両方において分布に依存しない公平性保証を達成し、データ分布にかかわらず強固な性能を発揮する。
• 推定器はリスクおよび公平性の両面で最適公平ルールを模倣し、両指標に対して明示的な有限標本境界を有する。
• マージン型仮定の下で高速な収束速度を達成し、理論的性能が優れていることが示された。
• 実データおよび合成データセットにおいて、fair-learn や fair-projection などの最先端手法と比較して、公平性および正確性の両面で同等または優れた性能を発揮し、特に ε が小さい場合に顕著である。
• 異なるベースモデル（reglog, RF, GBM）において、限られたラベル付きデータでも、事前に指定された ε 水準に近い公平性のキャリブレーションを維持する。
• 後処理の性質から、fair-learn や fair-adversarial などのインプロセッシング手法と比較して計算が著しく高速である。