[論文レビュー] Fairness Improvement with Multiple Protected Attributes: How Far Are We?

Zhenpeng Chen, Jie M. Zhang+2 more|arXiv (Cornell University)|Jul 25, 2023

Qualitative Comparative Analysis Research被引用数 4

ひとこと要約

この論文は、複数の保護属性に対して機械学習の公平性向上手法11種を評価し、1つの属性の公平性を最適化すると他属性の公平性が低下する傾向があることを明らかにした。これは全シナリオの最大88.3％に影響を及ぼし、性能（正答率）はほとんど変化しない。本研究は、交差属性の公平性を評価し、単一属性の公平性指標を超える必要があることを強調している。

ABSTRACT

Existing research mostly improves the fairness of Machine Learning (ML) software regarding a single protected attribute at a time, but this is unrealistic given that many users have multiple protected attributes. This paper conducts an extensive study of fairness improvement regarding multiple protected attributes, covering 11 state-of-the-art fairness improvement methods. We analyze the effectiveness of these methods with different datasets, metrics, and ML models when considering multiple protected attributes. The results reveal that improving fairness for a single protected attribute can largely decrease fairness regarding unconsidered protected attributes. This decrease is observed in up to 88.3% of scenarios (57.5% on average). More surprisingly, we find little difference in accuracy loss when considering single and multiple protected attributes, indicating that accuracy can be maintained in the multiple-attribute paradigm. However, the effect on F1-score when handling two protected attributes is about twice that of a single attribute. This has important implications for future fairness research: reporting only accuracy as the ML performance metric, which is currently common in the literature, is inadequate.

研究の動機と目的

• 単一の保護属性向けに設計された公平性向上手法が、複数の保護属性を同時に扱う状況に適用された際の影響を調査すること。
• 1つの属性の公平性向上が、考慮されていない他の属性の公平性に意図しない悪影響を及えるかどうかを評価すること。
• 複数の保護属性を考慮する場合の、特に精度と再現率における公平性−性能トレードオフを評価すること。
• 多様なデータセット、モデル、公平性指標を用いて、11の最先端の公平性手法をベンチマークし、交差属性公平性設定における有効性を理解すること。

提案手法

• 本研究は、機械学習およびソフトウェア工学の文献から選ばれた、事前処理、インプロセス、事後処理の技術を含む11の公平性向上手法を評価した。
• 金融、社会、医療分野の5つの広く使われているデータセットを用い、ロジスティック回帰、ランダムフォレスト、ニューラルネットワークなど多様な機械学習モデルを適用した。
• 統計的差異（例：統計的差異、同等機会差）、正答率、精度、再現率を含む15の公平性−性能測定指標を用いて評価した。
• 交差属性の公平性に注目し、保護属性の組み合わせによって形成されるサブグループ間の差を測定した。
• 研究者は、複数の保護属性を考慮した際、1つの属性の公平性向上が他の属性の公平性を悪化させるケースを体系的に比較・同定した。
• 複数の属性を同時に考慮する際の正答率、精度、再現率の変化を測定することで、公平性−性能トレードオフを定量化した。

実験結果

リサーチクエスチョン

• RQ1 複数の保護属性が存在する状況で、単一の保護属性の公平性向上が、考慮されていない他の保護属性の公平性にどの程度悪影響を及えるか。
• RQ2 複数の保護属性を同時に考慮する場合、公平性向上手法は交差属性の公平性においてどの程度の効果を示すか。
• RQ3 単一属性の公平性最適化と比較して、複数の保護属性の公平性を最適化した場合、モデル性能（正答率、精度、再現率）にどのような影響があるか。
• RQ4 異なる公平性指標とモデルアーキテクチャは、多属性設定における公平性−性能トレードオフにどのように影響するか。

主な発見

• 単一の保護属性の公平性向上は、平均で57.5％のシナリオにおいて、考慮されていない属性の公平性を著しく低下させ、全実験において最大88.3％のシナリオに影響を及ける。
• 精度や再現率の公平性低下は顕著で、正答率と比較して、それぞれ約5倍および8倍の影響を受ける。
• 顕著な公平性トレードオフがあるにもかかわらず、単一保護属性から複数保護属性への公平性向上に移行しても、正答率の損失は最小限に抑えられ、性能の維持が可能である。
• 本研究は、現在の公平性評価慣行（正答率に依存するもの）が不十分であることを明らかにした。これは、多属性設定における精度および再現率への不均衡な影響を捉えられていないためである。
• 観察された公平性低下の背後には、保護属性間の強い相関関係が存在する可能性があり、属性間の相互作用が公平性トレードオフの鍵を握っていると考えられる。
• 11の手法のベンチマーク化により、どの手法も全データセットおよび指標で一貫して優れているとは限らないことが判明し、文脈に応じた公平性選択の必要性が強調された。