[論文レビュー] Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees

L. Elisa Celis, Lingxiao Huang+2 more|arXiv (Cornell University)|Jun 15, 2018

Ethics and Social Impacts of AI参考文献 42被引用数 29

ひとこと要約

本稿では、予測同一性、統計的同一性、等しいオッズといった多様な公平性制約—予測同一性、統計的同一性、等しいオッズ—を凸最適化問題に変換する、公平分類のための新規メタアルゴリズムを提案する。この手法により、複雑な公平性制約が一般化されたグループ公平性フレームワークに還元され、複数のデータセットおよび公平性指標において、最小限の精度損失でほぼ完全な公平性が達成される。

ABSTRACT

Developing classification algorithms that are fair with respect to sensitive attributes of the data has become an important problem due to the growing deployment of classification algorithms in various social contexts. Several recent works have focused on fairness with respect to a specific metric, modeled the corresponding fair classification problem as a constrained optimization problem, and developed tailored algorithms to solve them. Despite this, there still remain important metrics for which we do not have fair classifiers and many of the aforementioned algorithms do not come with theoretical guarantees; perhaps because the resulting optimization problem is non-convex. The main contribution of this paper is a new meta-algorithm for classification that takes as input a large class of fairness constraints, with respect to multiple non-disjoint sensitive attributes, and which comes with provable guarantees. This is achieved by first developing a meta-algorithm for a large family of classification problems with convex constraints, and then showing that classification problems with general types of fairness constraints can be reduced to those in this family. We present empirical results that show that our algorithm can achieve near-perfect fairness with respect to various fairness metrics, and that the loss in accuracy due to the imposed fairness constraints is often small. Overall, this work unifies several prior works on fair classification, presents a practical algorithm with theoretical guarantees, and can handle fairness metrics that were previously not possible.

研究の動機と目的

• 非凸な公平性制約に対して、従来の公平分類アルゴリズムでは保証されない公平性の欠如に対処する。
• 予測同一性、統計的同一性、等しいオッズといった複数の公平性定義を、単一のアルゴリズムフレームワークで統一する。
• 非凸最適化のための非効率な公平性制約（特に誤発見率や誤省却率のような指標）を、以前は実行不可能であったものに可能にする。
• ユーザー定義の公平性閾値を満たすように、公平性と精度のトレードオフに関する理論的保証を提供する。
• 従来の研究を拡張し、複数の重複する感受性属性および二値グループ公平性を超えた一般化された公平性指標を処理できるようにする。

提案手法

• 感受性グループごとのパフォーマンス関数を用いて公平性制約をモデル化した制約付き最適化タスクとして、公平分類問題を定式化する。
• 公平性指標の新しい変換を用いて、一般化された公平性制約（例：予測同一性）を凸なグループ公平性制約の族に還元する。
• 凸緩和と双対性に基づくコアアルゴリズムを開発し、理論的収束保証を伴う効率的な最適化を可能にする。
• 任意の公平性指標（例：誤発見率、誤省却率）をパラメータ化されたパフォーマンス関数を介して凸グループ公平性フレームワークにマッピングするメタアルゴリズムフレームワークを適用する。
• 線形分数関数を用いて予測同一性などの公平性指標をモデル化し、凸最適化技術の利用を可能にする。
• 一般化された公平性関数と反復的精錬を用いて、複数の感受性属性と複数の公平性制約を同時に処理するようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 広範な公平性制約クラスを処理できる、理論的保証が得られる単一のメタアルゴリズムを設計できるか？
• RQ2 予測同一性などの非凸公平性制約を、どのように凸最適化問題に還元できるか？
• RQ3 提案されたアルゴリズムは、多様な公平性指標において、最小限の精度低下でどれほど高い公平性を達成できるか？
• RQ4 誤発見率や誤省却率などの指標に関して、COMPAS や Heart といった実世界のデータセット上でのアルゴリズムの性能はいかがなものか？
• RQ5 複数の重複する感受性属性と複数の公平性制約を同時に処理できるように、このフレームワークを拡張できるか？

主な発見

• FICO COMPAS データセットにおいて、アルゴリズムはほぼ完全な公平性（例：γ_FDR ≈ 0.99）を達成し、SHIFT や COV といったベースラインを上回る公平性指標を示した。
• 誤発見率（FDR）公平性に関して、Algo 1 -FDR は COMPAS で最大の公平性スコア（γ_FDR）を 0.80 に達成したが、SHIFT は 0.98 に達しており、データ分布の仮定に敏感であることが示された。
• Algo 1 -SR は、精度を 6% 低下（0.83 から 0.77 に）させながらも、公平性スコア（γ_SR）を 0.89 に達成し、強力な公平性-精度トレードオフを示した。
• 制約なし最適分類器は 83% の精度を達成したが、Algo 1 -SR では 77% に低下したが、正の予測率（γ_PPR）の 90% のスコアを含む、複数の指標で公平性が向上した。
• Algo 1 -FDR は、精度を 0.83 に維持しながら、誤発見率（γ_FDR）の公平性を 85% に達成し、COV や FPR-COV ベースラインと同等の精度で、より優れた公平性を達成した。
• 本フレームワークは、予測同一性（誤発見率および誤省却同一性を含む）に対する保証された公平性を実現できるという、公平機械学習分野の未解決問題を効果的に解決した。