[論文レビュー] Fairness Aware Counterfactuals for Subgroups

Loukas Kavouras, Konstantinos Tsopelas+7 more|arXiv (Cornell University)|Jun 26, 2023

Social and Intergroup PsychologySocial Sciences被引用数 3

ひとこと要約

FACTSは、反事後的帰納によるサブグループ公平性を監査するモデルに依存しないフレームワークを導入し、平均コストを超える洗練された公平性の概念を提供する。これには、効果性-コストのトレードオフと予算制約付きの帰納が含まれる。累積コスト分布と条件付き指標を用いて、サブグループ全体における公平性の堅牢でパrameter化可能な評価が可能であり、ベンチマークデータセットにおける隠れた格差の検出において優れた性能を示している。

ABSTRACT

In this work, we present Fairness Aware Counterfactuals for Subgroups (FACTS), a framework for auditing subgroup fairness through counterfactual explanations. We start with revisiting (and generalizing) existing notions and introducing new, more refined notions of subgroup fairness. We aim to (a) formulate different aspects of the difficulty of individuals in certain subgroups to achieve recourse, i.e. receive the desired outcome, either at the micro level, considering members of the subgroup individually, or at the macro level, considering the subgroup as a whole, and (b) introduce notions of subgroup fairness that are robust, if not totally oblivious, to the cost of achieving recourse. We accompany these notions with an efficient, model-agnostic, highly parameterizable, and explainable framework for evaluating subgroup fairness. We demonstrate the advantages, the wide applicability, and the efficiency of our approach through a thorough experimental evaluation of different benchmark datasets.

研究の動機と目的

• 保護されたサブグループ間での帰納負担を評価する際、平均コストに基づく公平性指標の限界を是正すること。
• 個々の個人のばらつきとサブグループ全体の行動を捉える、洗練された堅牢な公平性の概念を導入すること。
• 反事後的説明を用いて、サブグループ公平性を評価するモデルに依存しない、パrameter化可能なフレームワークを開発すること。
• 帰納行動に現実的な制約（例えば、帰納行動の予算制限）を反映した公平性監査を可能にすること。
• フレームワークの効率性、広範な適用可能性、および実世界のデータセットにおける隠れた格差の検出能力を実証すること。

提案手法

• 個々の個人における帰納コストと成功確率のトレードオフを可視化・分析するための、効果性-コスト分布（ECD）を導入する。
• 新たな公平性指標を提案：マクロ/マイクロ版の等コストの効果性、帰納のための等選択、予算内での等効果性、公平な効果性-コストトレードオフ。
• 反事後的説明を用いて、個人が望ましい結果を得るために必要な最小限の特徴変更を計算する。
• コスト、効果性、予算制約の閾値を調整可能なパrameter化された評価パイプラインを採用する。
• fp-growthを用いて影響を受ける集団内のサブグループを同定し、公平性指標スコアに基づいて順位付けする。
• 条件付き平均帰納と公平性に配慮した順位付けを統合し、不均等な負担を負っているサブグループを検出する。

実験結果

リサーチクエスチョン

• RQ1 平均帰納コストに基づく既存の公平性指標は、サブグループ間での真の負担分布をどのように捉え損なっているか？
• RQ2 個々の個人とサブグループの両レベルで、帰納アクセスの公平性をよりよく捉える洗練された公平性の概念は何か？
• RQ3 コスト制約と現実的な実行可能性の閾値を考慮した公平性監査は、どのようにして堅牢に実現できるか？
• RQ4 提案されたフレームワークは、標準的な公平性指標では明らかにされない隠れた格差をどの程度検出できるか？
• RQ5 さまざまな実世界のデータセットにおいて、このフレームワークは不均等に負担を背負っているサブグループをどの程度効果的に特定できるか？

主な発見

• 広告キャンペーンデータセットでは、Fair Effectiveness-Cost Trade-Off指標において、上位10％の不公平なサブグループのうち128個が女性に偏向していることが判明し、本手法の隠れた格差に対する感受性が顕著に示された。
• 予算内での等効果性（1.0）指標では、高レベルで不公平とされるサブグループはたった1つにとどまり、大多数のサブグループが低コスト制約のもとで帰納を達成できることを示している。
• 帰納のための等選択指標（閾値0.3）では、66個のサブグループが女性に偏向しており、わずかなコストの行動でも顕著な不平等が明らかになった。
• マクロ版の等コストの効果性指標（閾値0.7）では、264個の最も不公平なサブグループが検出され、中程度のコストの帰納に対して強い感受性を示した。
• Fair Effectiveness-Cost Trade-Off指標は、全公平性指標の中で最高の平均順位スコア（0.971）を達成し、全体的な公平性検出能力に優れていることを示した。
• クレジット評価データセットでは、予算2の制約のもとで、レース1の80％が帰納を達成できる一方、レース0ではたった60％にとどまり、以前に発見されていなかった不平等が明らかになった。