[論文レビュー] Bayesian Modeling of Intersectional Fairness: The Variance of Bias

James R. Foulds, Rashidul Islam+2 more|arXiv (Cornell University)|Nov 18, 2018

Gender Politics and Representation被引用数 4

ひとこと要約

本稿では、複数の保護属性にわたるデータのスパarsity問題に対処するために、機械学習における交差的公平性を信頼性高く推定するためのベイジアン確率的フレームワークを提案する。階層ベイジアンモデリングと変分推論を用いることで、公平性指標に対する頑健な不確実性推定を提供する。特にCOMPASおよびセンサスデータセットのようなスパースな状況において、経験的推定値よりも優れた性能を示す。

ABSTRACT

Intersectionality is a framework that analyzes how interlocking systems of power and oppression affect individuals along overlapping dimensions including race, gender, sexual orientation, class, and disability. Intersectionality theory therefore implies it is important that fairness in artificial intelligence systems be protected with regard to multi-dimensional protected attributes. However, the measurement of fairness becomes statistically challenging in the multi-dimensional setting due to data sparsity, which increases rapidly in the number of dimensions, and in the values per dimension. We present a Bayesian probabilistic modeling approach for the reliable, data-efficient estimation of fairness with multi-dimensional protected attributes, which we apply to two existing intersectional fairness metrics. Experimental results on census data and the COMPAS criminal justice recidivism dataset demonstrate the utility of our methodology, and show that Bayesian methods are valuable for the modeling and measurement of fairness in an intersectional context.

研究の動機と目的

• 人種、性別、国籍など、複数の重複する保護属性にわたる公平性を測定する際のデータスパarsityの課題に対処すること。
• 交差的AI公平性における不確実性を明確にした統計的に妥当で、データ効率の良い公平性指標推定手法を構築すること。
• 従来の方法が信頼性の低い統計的根拠により失敗する小標本の交差的グループにおける、経験的確率推定の限界を克服すること。
• 特に刑事司法分野などのハイリスク分野において、既存のAIシステムの交差的差別性を監査するための実用的でスケーラブルなフレームワークを提供すること。
• データ不足下での公平性測定の信頼性向上に寄与する、階層ベイジアンモデルとモデル平均化の有効性を実証すること。

提案手法

• 公平性指標を確率変数としてモデル化し、事後分布を介して不確実性を定量化できるベイジアン確率的フレームワークを提案する。
• 経験的ベイズ（EB）、完全ベイズ（FB）、ロジスティック回帰（LR）、深層ニューラルネットワーク（DNN）の4つの統計モデルを実装し、安定性を向上させるために、新しい階層ベイジアンロジスティック回帰（HLR）モデルを導入する。
• 変分推論を用いてモデルパラメータの事後分布を近似し、大規模でスパースなデータセットでもスケーラブルな計算を可能にする。
• 異なるモデルの予測を統合することで、公平性推定の頑健性を高め、分散を低減するため、ベイジアンモデル平均化（BMA）を適用する。
• 事後予測分布を活用して、信用区間を含む不確実性を考慮した公平性推定を生成し、差分公平性（DF）やサブグループ公平性（SF）などの指標を扱う。
• ブートストラップリサンプリングをベイジアン推論と統合することで、小標本領域における推定の信頼性をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の保護属性にわたるデータスパarsityが生じる交差的AI公平性において、どのようにして公平性を信頼性高く測定できるか？
• RQ2 交差的グループが小さくまたは代表されていない状況において、どのベイジアンモデリングアプローチが公平性指標の推定において最も安定的かつ正確であるか？
• RQ3 ベイジアン推論による不確実性の組み込みが、経験的確率推定と比較して、公平性測定にどの程度向上効果をもたらすか？
• RQ4 COMPASやUCI Adultセンサスデータセットなどの実世界データセットにおいて、異なるベイジアンモデル（例：HLR、DNN、LR）の性能はどのように比較されるか？
• RQ5 ベイジアンモデル平均化は、スパースデータ設定下での交差的公平性推定の頑健性と信頼性を向上させることができるか？

主な発見

• 階層ベイジアンロジスティック回帰（HLR-FB）モデルは、スパースデータ上での公平性指標推定において、他のモデルを常に上回り、完全データの真値からのL1偏差が最小であった。
• COMPASデータセットの1％サブサンプルにおいて、HLR-FBはγ-SFのL1偏差が0.393、ε-DFのL1偏差が0.015を記録し、高い精度と低い不確実性を示した。
• すべてのベイジアンモデル、特にFBバージョンは、経験的確率（PE）推定と比較して顕著に低いL1偏差を示し、スパースな状況下での信頼性の向上を実証した。
• HLR-FBモデルは、COMPASシステムがε-DFにおいてバイアスを約0.5倍に拡大していると予測した。95％信用区間は0.35から0.65の間であり、バイアス拡大の強い証拠を示した。
• 事後予測分布は、80％ルールの法的閾値0.2231を超える値に高い確率を割り当てており、真の再犯とCOMPASの予測の両方において、差別的影響の顕著な証拠を確認した。
• ベイジアンモデル平均化は安定性を向上させたが、性能ではHLR-FBモデルを上回ることはなく、HLR-FBモデルが交差的公平性推定の強力な単体選択肢であることを示唆した。