[論文レビュー] Characterizing Intersectional Group Fairness with Worst-Case Comparisons

Avijit Ghosh, Lea Genuit+1 more|arXiv (Cornell University)|Jan 5, 2021

Ethics and Social Impacts of AI参考文献 30被引用数 9

ひとこと要約

本稿では、保護属性（例：人種と性別）の組み合わせによって形成されるサブグループを分析することで、機械学習の公平性指標に隠れた交差的バイアスを検出するためのワーストケース比較法を提案する。誤差率パラメータのバイナリ公平性指標（例：偽陰性率パラメータの平等性）を交差サブグループに拡張し、ブラック・メンズのFNRが0.065、アジア系・フェミニンのFNRが0.0024であるなど、極端な不平等が明らかになった。これは、標準的な指標が、代表が少ないサブグループにおける深刻な不平等を隠蔽している可能性を示している。

ABSTRACT

Machine Learning or Artificial Intelligence algorithms have gained considerable scrutiny in recent times owing to their propensity towards imitating and amplifying existing prejudices in society. This has led to a niche but growing body of work that identifies and attempts to fix these biases. A first step towards making these algorithms more fair is designing metrics that measure unfairness. Most existing work in this field deals with either a binary view of fairness (protected vs. unprotected groups) or politically defined categories (race or gender). Such categorization misses the important nuance of intersectionality - biases can often be amplified in subgroups that combine membership from different categories, especially if such a subgroup is particularly underrepresented in historical platforms of opportunity. In this paper, we discuss why fairness metrics need to be looked at under the lens of intersectionality, identify existing work in intersectional fairness, suggest a simple worst case comparison method to expand the definitions of existing group fairness metrics to incorporate intersectionality, and finally conclude with the social, legal and political framework to handle intersectional fairness in the modern context.

研究の動機と目的

• 代表が少ない交差的サブグループにおけるバイアスを検出できない既存の公平性指標の限界を是正すること。
• 従来のバイナリ公平性指標（例：人種や性別単独での評価）が、交差サブグループを考慮すると深刻な不平等が隠蔽されるメカニズムを強調すること。
• 保護属性のすべての組み合わせを網羅的に評価するための実用的で組み合わせ的な方法を提案し、ワーストケース差異比を用いて公平性を評価すること。
• 分類および順位付けベースの公平性指標を含む多様な指標への適用可能性を示すこと。
• AIガバナンスの法的・社会的・倫理的枠組みに交差的公平性を統合するよう提言すること。

提案手法

• 保護属性のすべての可能な組み合わせ（例：人種と性別）としてサブグループを定義し、交差的グループの組み合わせ的集合を形成する。
• 各交差サブグループに、既存のグループ公平性指標（例：偽陰性率パラメータの平等性、注目度パラメータの平等性）を適用する。
• 最も不利なグループを特定するために、サブグループ間の平均指標値の最小値を最大値で割ったワーストケース差異比を計算する。
• このワーストケース比（AR）を公平性指標として用いる——1.0に近いほど交差的公平性が良好であることを示す。
• LSACデータセットを用いて実世界のモデルに適用し、分類および順位付けベースの公平性指標を評価する。
• 順位付けシステムにおける注目度ベースの指標に適応する際は、位置依存の注目度をモデル化し、サブグループごとの平均注目度を計算する。

実験結果

リサーチクエスチョン

• RQ1 標準的なバイナリ公平性指標は、代表が少ない交差的サブグループにおけるバイアスをどのように検出できないのか？
• RQ2 保護属性（例：人種と性別）を組み合わせることで、公平性指標の差異にどのような影響を与えるのか？
• RQ3 ワーストケース比較法は、集計的またはバイナリ公平性評価によって隠蔽されたバイアスを効果的に明らかにできるのか？
• RQ4 注目度ベースの指標を用いた順位付けシステムにおいて、交差的公平性はどのように測定・監視できるか？
• RQ5 交差的公平性の実務的意味は、AIにおける法的・倫理的・政策的枠組みにどのような影響を与えるか？

主な発見

• ワーストケース差異比は、LSACの事例研究で交差サブグループ間の偽陰性率に0.036の比を示し、理想の1.0から著しく乖離しており、深刻な交差的不平等を示している。
• ブラック・メンズの偽陰性率は約0.065、アジア系・フェミニンは0.0024であり、27倍の差が生じており、バイナリ指標では検出不可能であった。
• 性別単独での評価では女性が優遇されているように見える（FNR ≈ 0.006）が、人種を含めるとブラック・ウィメンのFNRは0.039に上昇し、逆転する。
• 本手法は「公平性のガーリングダム」（Fairness Gerrymandering）を効果的に特定した——バイナリレベルでは公平に見えるが、交差的レベルでは著しく損なわれる状況。
• 注目度ベースの指標では、サブグループの露出差異もワーストケース比を用いて定量的に評価可能であり、分類分野を超えた手法の拡張が可能であることを示した。
• 本アプローチは、主要なアーキテクチャの変更を要せず、既存の公平性監視パイプラインに容易に統合可能である。