[論文レビュー] The cost of fairness in classification

Aditya Krishna Menon, Robert C. Williamson|arXiv (Cornell University)|May 25, 2017

Law, AI, and Intellectual Property被引用数 15

ひとこと要約

本論文は、コスト感受性リスクにおける公平性の制約をモデル化することで、二値分類における公平性と精度のトレードオフを定量化するフレームワークを提案する。最適な公平な分類器がクラス確率関数のインスタンス依存のしきい値化であることを示し、公平性制約による性能劣化を測るための不整合度測度を導入する。

ABSTRACT

We study the problem of learning classifiers with a fairness constraint, with three main contributions towards the goal of quantifying the problem's inherent tradeoffs. First, we relate two existing fairness measures to cost-sensitive risks. Second, we show that for cost-sensitive classification and fairness measures, the optimal classifier is an instance-dependent thresholding of the class-probability function. Third, we show how the tradeoff between accuracy and fairness is determined by the alignment between the class-probabilities for the target and sensitive features. Underpinning our analysis is a general framework that casts the problem of learning with a fairness requirement as one of minimising the difference of two statistical risks.

研究の動機と目的

• 感受性属性を伴う教師あり分類における公平性と精度のトレードオフを形式化すること。
• 公平性制約が最適分類器の構造に与える影響を分析すること。
• ターゲット特徴量と感受性特徴量の間の整合性の測度を用いて、公平性要件が引き起こす性能劣化を定量化すること。

提案手法

• 予測性能の統計的リスクと公平性の統計的リスクの差を最小化する形で、公平性に配慮した学習を定式化する。
• 補題1および補題2を用いて、一般的な2つの公平性指標（デモグラフィックパラティーションとイコライズドオッズ）をコスト感受性リスクの定式化に還元する。
• ベイズ最適な公平な分類器が、コストパラメータと公平性制約によって決定されるしきい値を用いたクラス確率関数η(x)のインスタンス依存のしきい値化であることを導出する。
• ターゲット特徴量と感受性特徴量のクラス確率関数の不整合度を測る不整合関数を導入し、これが性能劣化を支配することを示す。
• ターゲット特徴量と感受性特徴量のそれぞれに別々のモデルを学習し、その後しきい値化によって統合することで、公平性に配慮した分類を実現するプラグイン推定器を提案する。
• 実験では、COV法とバランスエラーリスクを用いてトレードオフを評価し、理論的枠組みの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 分類における公平性制約は、どのようにコスト感受性リスク最小化と正式に関連付けることができるか？
• RQ2 コスト感受性リスクに対する公平性制約下での最適分類器の構造的形態は何か？
• RQ3 ターゲット特徴量と感受性特徴量の確率関数の整合性は、公平性の性能コストにどの程度影響を与えるか？
• RQ4 プラグインベースの推定器は、既存の手法と比較して競争力のある公平性-精度のトレードオフを達成できるか？
• RQ5 クラス確率関数の不整合度は、公平性制約下での最小達成可能誤差にどのように影響するか？

主な発見

• デモグラフィックパラティーションやイコライズドオッズといった公平性指標は、コスト感受性リスクに再定式化可能であり、統一的な最適化フレームワークを可能にする。
• 最適な公平性に配慮した分類器は、コストパラメータと公平性制約によって決定されるしきい値を用いたクラス確率関数η(x)のインスタンス依存のしきい値化である。
• 公平性制約による性能劣化は、ターゲット特徴量と感受性特徴量のクラス確率関数の不整合度を測る不整合関数によって定量化可能である。
• ターゲット特徴量と感受性特徴量が高頻度で整合している（不整合度が低い）場合、公平性制約による性能コストは最小限に抑えられる。不整合度が高くなると、公平性のコストが増加する。
• ドイツ信用データセットにおける実験結果から、提案するプラグイン推定器がZafarら（2016）のCOV法と同等の公平性-精度のトレードオフを達成することが示された。
• 理論的分析により、コスト感受性リスクとベースラインとの差の符号が、差別の的影響のしきい値と一貫していることが確認され、フレームワークの予測力が裏付けられた。