[論文レビュー] An Intersectional Definition of Fairness

James R. Foulds, Shimei Pan+2 more|arXiv (Cornell University)|Jul 1, 2018

Ethics and Social Impacts of AI参考文献 33被引用数 19

ひとこと要約

本稿は、人種、性別、階級などの重複する社会的アイデンティティを考慮することで、従来の公平性定義を拡張する、AIおよび機械学習における交差的公平性フレームワークを提案する。本稿では、差分公平性（DF）、DFバイアス拡大、および交差的公平性（DFC）という3つの新しい公平性指標を提案し、それらの基準を満たす学習アルゴリズムを設計した。実世界のデータセット（COMPASおよびAdult）において、サブグループ公平性と比較して、マイノリティグループの公平性が向上することを示している。

ABSTRACT

We propose definitions of fairness in machine learning and artificial intelligence systems that are informed by the framework of intersectionality, a critical lens arising from the Humanities literature which analyzes how interlocking systems of power and oppression affect individuals along overlapping dimensions including gender, race, sexual orientation, class, and disability. We show that our criteria behave sensibly for any subset of the set of protected attributes, and we prove economic, privacy, and generalization guarantees. We provide a learning algorithm which respects our intersectional fairness criteria. Case studies on census data and the COMPAS criminal recidivism dataset demonstrate the utility of our methods.

研究の動機と目的

• 機械学習における既存の公平性定義が、重複する社会的アイデンティティを十分に反映していないという限界を是正すること。
• 人種、性別、階級、その他の次元における包括的抑圧を認識する交差理論に基づいた公平性基準の開発。
• サブグループ公平性指標が示す不平等を回避することで、特に代表が不十分なマイノリティを含むすべてのサブグループに対して、公平性指標が均等に機能することの保証。
• 提案されたフレームワークにおけるプライバシー、経済的公平性、一般化に関する理論的保証の提供。
• 実世界のデータセットを用いた実証的検証を通し、サブグループ公平性を上回る性能を示し、マイノリティグループの保護に優れた結果を得ること。

提案手法

• 保護属性によって定義されるすべての交差的サブグループに対して、均等な扱いが保証される差分公平性（DF）を公平性指標として提案する。
• アルゴリズムが元のデータ分布と比較してバイアスをどの程度拡大するかを測定するためのDFバイアス拡大を導入する。
• 結果の分布に影響を与える外部要因（交絡要因）を調整するための差分公平性（DFC）を提案し、現実世界の設定における公平性の向上を図る。
• DF、DFバイアス拡大、DFCを最適化する学習アルゴリズムを設計し、制約付き最適化を用いてモデル学習中に公平性制約を強制する。
• サブグループ間の公平性測定における不均等性を定量化するためのジニ係数ベースの指標を採用し、公平性の分布的公平性の比較を可能にする。
• COMPASおよびAdultセンサスデータセットにこのフレームワークを適用し、実データおよび訓練済みのロジスティック回帰モデルを用いて、複数の保護属性の組み合わせにおける公平性を評価する。

実験結果

リサーチクエスチョン

• RQ1 人種や性別といった複数の保護属性の交差を考慮するため、AIにおける公平性はどのように再定義できるか？
• RQ2 提案された差分公平性（DF）指標は、代表が不十分なマイノリティを含む、すべてのサイズのサブグループにおいて、公平性測定を均等に保証するか？
• RQ3 γ-SF公平性指標は、どの程度交差的性質を損なうのか。また、公平性の分布的公平性という観点から、ϵ-DFと比較してどのように異なるか？
• RQ4 提案された公平性指標および学習アルゴリズムは、複雑な人種的・文化的交差を示す実世界のデータセットにおいて、サブグループ公平性を上回るマイノリティグループの公平性を達成できるか？
• RQ5 交絡変数は公平性にどのような影響を及ぼすか。また、DFCは、結果分布へのその影響を効果的に調整できるか？

主な発見

• ϵ-DF指標は、Adultデータセットで0.099、COMPASデータセットで0.151と、ジニ係数が著しく低く、サブグループ間での公平性配分がより均等であることを示している。一方、γ-SFはそれぞれ0.256および0.376であった。
• COMPASデータセットにおいて、ϵ-DFは、保護属性を追加しても公平性値が上昇しないという交差的性質を維持していたが、γ-SFはこの性質に違反していた（例：性別のγ > 人種×性別のγ）。
• DF-Classifierは、ϵ-DFおよびγ-SFの両方において、すべてのグループサイズでグループごとの公平性を向上させたが、SF-Classifierは小さなグループのγ-SF公平性を向上させられなかった。
• Adultデータセットにおいて、ϵ-DFは国籍のジニ係数を0.2177に達成したのに対し、γ-SFは0.0045であった。これは、γ-SFがマイノリティグループを著しく低く評価していることを示している。
• ϵ-DF指標は、大規模および小規模な両方のサブグループに対して、公平性測定を均等に扱うことが観察された。一方、γ-SFは大規模グループに有利に作用していた。
• 本研究では、サブグループ公平性（γ-SF）が全体の公平性評価においてマイノリティグループを無視することで「公平性のガリソンディング（gerrymandering）」を引き起こす可能性があることが確認された。一方、提案されたDFフレームワークは、包括的な公平性評価を保証することで、この問題を回避している。