[論文レビュー] Bayes-Optimal Classifiers under Group Fairness

Xianli Zeng, Edgar Dobriban+1 more|arXiv (Cornell University)|Feb 20, 2022

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本稿は、ネイマン＝ピアソン補題への新しい接続を用いて、グループ公平性制約下でのベイズ最適分類器を導出する統一的フレームワークを提案する。FairBayesは、差異レベルを明示的に制御するグループベースのしきい値手法であり、特徴量の分布的仮定を必要とせず、最適な公平性・精度のトレードオフを達成する。複数のデータセットにおいて、既存手法を上回る精度、公平性制御、および効率性を示した。

ABSTRACT

Machine learning algorithms are becoming integrated into more and more high-stakes decision-making processes, such as in social welfare issues. Due to the need of mitigating the potentially disparate impacts from algorithmic predictions, many approaches have been proposed in the emerging area of fair machine learning. However, the fundamental problem of characterizing Bayes-optimal classifiers under various group fairness constraints has only been investigated in some special cases. Based on the classical Neyman-Pearson argument (Neyman and Pearson, 1933; Shao, 2003) for optimal hypothesis testing, this paper provides a unified framework for deriving Bayes-optimal classifiers under group fairness. This enables us to propose a group-based thresholding method we call FairBayes, that can directly control disparity, and achieve an essentially optimal fairness-accuracy tradeoff. These advantages are supported by thorough experiments.

研究の動機と目的

• 一般のグループ公平性制約下でのベイズ最適公平分類器のための統一的理論的フレームワークの欠如に応えること。
• 最適分類器が任意の差異レベルに依存することを明示的にモデル化し、公平性違反を直接制御可能にすること。
• 従来の研究では未解決であった公平性指標、例えば全体の正答率同等性（overall accuracy equality）のための公平なベイズ最適分類器を導出することで、既存の研究を拡張すること。
• 特徴量の分布的仮定を必要とせず、最適な公平性・精度のトレードオフを達成する実用的で効率的なアルゴリズム（FairBayes）を開発すること。
• 二値および多値の保護属性を対象に、実験的に本手法の性能を検証し、公平性制御、精度、計算効率の観点で優れた性能を示すこと。

提案手法

• 最適仮説検定のネイマン＝ピアソン的議論を活用し、公平なベイズ最適分類のための統一的理論的フレームワークを構築する。
• ユーザーが指定した差異レベルに直接依存する、明示的で閉形式のグループ別しきい値ルールを導出する。
• Unconstrained予測にグループ固有のしきい値を適用することで、望ましい公平性レベルを強制するpost-processing手法FairBayesを導入する。
• 境界ケースに対して慎重な確率的ランダマイズを実施し、特徴量分布が公平性境界に丁度一致する場合でも最適な性能を保証する。
• 実際の応用ではロジスティック回帰を用いてグループ別条件付き確率を推定し、スケーラブルな実装を可能にする。
• 多値保護属性を扱うために、デモグラフィックパリティの乖離（DDP）を指標として用いることで、フレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 どのようなグループ公平性制約下でも、これまでに研究されていなかったもの（例：全体の正答率同等性）を含めて、ベイズ最適分類器を体系的に導出する方法は何か？
• RQ2 最適分類器が差異レベルに明示的かつ直接的に依存することを確立でき、ユーザーが公平性の目標を直接指定できるか？
• RQ3 本手法は、公平性、精度、計算効率の観点で、既存の公平学習手法と比較して実際の性能においてどのように振る舞うか？
• RQ4 特徴量の分布的仮定が、公平分類器の最適性およびロバストネスに与える影響は何か？
• RQ5 理論的最適性と実用的効率性を維持したまま、多値保護属性へとフレームワークを拡張可能か？

主な発見

• FairBayesは、テストした全データセットで最良の公平性・精度のトレードオフを達成し、多値保護属性を有するAdultデータセットでは分類精度が0.831（±0.001）を達成した。
• 本手法は差異（DDP）を0.030（±0.013）まで低減し、KDEベース（0.039 ± 0.024）および対抗的手法（0.221 ± 0.190）を著しく上回った。
• FairBayesは平均57秒で公平性・精度のトレードオフ曲線を生成したのに対し、KDEおよび対抗的ベースラインはそれぞれ197秒および213秒を要した。
• |A|=10の合成データにおいて、FairBayesは0.615の精度と0.190のDDPを達成し、理論的ベイズ最適公平分類器（0.615の精度、0.190のDDP）をよく追跡した。
• Adultデータセットにおける精度の標準偏差が0.001と非常に小さく、性能指標の高い安定性と再現性を示した。
• FairBayesは、unconstrained学習の出力を再利用することで、複数の公平性基準に適合する公平分類器を効率的に生成でき、多フェアネス分析を容易にした。