[論文レビュー] Towards Threshold Invariant Fair Classification

Mingliang Chen, Min Wu|arXiv (Cornell University)|Jun 18, 2020

Ethics and Social Impacts of AI参考文献 19被引用数 4

ひとこと要約

本稿では、リスクスコア分布を感受性グループ間で均等化することで、決定閾値の変更に対して頑健な公平性を実現する閾値不変公平性を提案する。ヒストグラム近似とガウス分布仮定を用いることで、公平性の頑健性を向上させ、決定閾値の変更に敏感な従来の公平性定義を凌駕する。この手法により、公平性指標（例：DPおよびEO）の閾値による分散が著しく低減され、一貫性と安定性においてベースラインの制約付きモデルを上回る。

ABSTRACT

Effective machine learning models can automatically learn useful information from a large quantity of data and provide decisions in a high accuracy. These models may, however, lead to unfair predictions in certain sense among the population groups of interest, where the grouping is based on such sensitive attributes as race and gender. Various fairness definitions, such as demographic parity and equalized odds, were proposed in prior art to ensure that decisions guided by the machine learning models are equitable. Unfortunately, the "fair" model trained with these fairness definitions is threshold sensitive, i.e., the condition of fairness may no longer hold true when tuning the decision threshold. This paper introduces the notion of threshold invariant fairness, which enforces equitable performances across different groups independent of the decision threshold. To achieve this goal, this paper proposes to equalize the risk distributions among the groups via two approximation methods. Experimental results demonstrate that the proposed methodology is effective to alleviate the threshold sensitivity in machine learning models designed to achieve fairness.

研究の動機と目的

• 既存の公平性定義（例：デモグラフィックパリティ、等しいオッズ）が決定閾値のチューニングに敏感であるという限界を是正する。
• 閾値の調整に関わらず、グループ間で均等な分類器性能を保証する公平性概念を構築する。
• ヒストグラム近似とガウス分布仮定の2つの異なる微分可能手法を提案し、保護群間でのリスクスコア分布を均等化する。
• ロジスティック回帰やSVMなどのさまざまな微分可能分類器と互換性を持たせ、標準的な学習パイプラインへの統合を可能にする。
• 公平性の安定性が向上するが、モデルの精度を犠牲にしないことを実証する。特に動的閾値設定下で顕著である。

提案手法

• 分類パリティよりも強い公平性条件として、すべての決定閾値で一貫した公平性を要請する閾値不変公平性を導入する。
• ヒストグラム近似（HA）を用い、Nビンのヒストグラムでリスクスコア分布をモデル化し、勾配ベース最適化に適した微分可能なガウスカーネル近似を適用する。
• ガウス分布仮定（GA）を用い、一次モーメント（平均）と二次モーメント（分散）のみでリスク分布を表現することで、計算複雑度をO(M)に低減する。
• 両手法をロジスティック回帰やSVMなどの分類器の学習目的関数に微分可能制約として統合する。
• 確率的勾配降下法を用いてリスクスコア分布の均等化を最適化し、ディープラーニングフレームワークと互換性のあるバッチベース学習を可能にする。
• 公平性制約が訓練中に正しく適用されるように、グループ間の分布差を最小化しながらモデル精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 分類パリティの定義を超えて、決定閾値の変更に対して頑健な機械学習の公平性を実現できるか？
• RQ2 感受性グループ間でリスクスコア分布を均等化するにはどのような手法が有効か？
• RQ3 リスク分布均等化のモデル化において、計算効率と近似精度のトレードオフはどのように評価できるか？
• RQ4 提案手法は、従来の公平性指向学習手法と比較して、決定閾値の変動に伴う公平性の一貫性をどの程度向上できるか？
• RQ5 提案手法は、ニューラルネットワークを含むさまざまな微分可能分類器に一般化可能か？

主な発見

• 提案手法は、ベースラインの公平性制約付きモデルと比較して、決定閾値による公平性指標の変動（ΔDPおよびΔEO）の分散と範囲を顕著に低減する。
• ガウス分布仮定（GA）手法は、ヒストグラム近似（HA）と同等の公平性性能を達成するが、計算複雑度が低い（O(M) 対 O(MN)）。
• 提案手法で学習された分類器は、公平性曲線にわずかな変動しか示さないため、閾値変更に対して強い頑健性を示す。
• 提案アプローチは、精度を維持しながら公平性の安定性を向上させ、Zafar-DPおよびZafar-EOを上回る閾値不変公平性指標を達成する。
• 手法はバッチベース学習と互換性があり、多属性公平性やニューラルネットワーク分類器への拡張も可能である。
• 実験結果は、リスクスコア分布の均等化が、特に動的閾値設定下でより一貫した公平性結果をもたらすことを確認している。