[論文レビュー] Discriminative but Not Discriminatory: A Comparison of Fairness Definitions under Different Worldviews.

Samuel Yeom, Michael Carl Tschantz|arXiv (Cornell University)|Aug 26, 2018

Gender Diversity and Inequality被引用数 10

ひとこと要約

本稿は、異なるデータバイアスの世界観（仮定）を想定したもとで、デモグラフィックパリティ、イコライズドオッズ、予測パリティの3つの公平性定義を比較している。デモグラフィックパリティとイコライズドオッズは、差別の的格差の拡大を防ぐために特定の世界観のもとで正当化されると主張するが、予測パリティは大きなグループ間格差を許容するため、格差の拡大を防げず、より現実的な世界観に整合する新たな公平性概念の導入を提案する。

ABSTRACT

We mathematically compare three competing definitions of group-level nondiscrimination: demographic parity, equalized odds, and predictive parity. Using the theoretical framework of Friedler et al., we study the properties of each definition under various worldviews, which are assumptions about how, if at all, the observed data is biased. We argue that different worldviews call for different definitions of fairness, and we specify the worldviews that, when combined with the desire to avoid a criterion for discrimination that we call disparity amplification, motivate demographic parity and equalized odds. In addition, we show that predictive parity is insufficient for avoiding disparity amplification because it allows an arbitrarily large inter-group disparity. Finally, we define a worldview that is more realistic than the previously considered ones, and we introduce a new notion of fairness that corresponds to this worldview.

研究の動機と目的

• データバイアスに関する異なる仮定（世界観）が機械学習における公平性定義の適切さにどのように影響するかを分析すること。
• デモグラフィックパリティ、イコライズドオッズ、予測パリティのうち、特定の世界観のもとでどの公平性定義が最も適切であるかを同定すること。
• 予測パリティが、大きなグループ間格差を許容するため、格差の拡大を防げないことを実証すること。
• 現実のデータバイアスを反映するより現実的な世界観に基づいた、新たな公平性概念を提示すること。

提案手法

• Friedlerらの理論的枠組みを用いて、それぞれがデータバイアスの仮定を表す異なる世界観のもとで公平性定義をモデル化する。
• 「格差の拡大（disparity amplification）」を、公平性定義が既存のグループ格差を悪化させないかを評価する基準として定義する。
• 各世界観におけるデモグラフィックパリティ、イコライズドオッズ、予測パリティの数学的性質を分析し、差別的影響を評価する。
• 歴史的不平等や測定誤差を含む現実のデータバイアスを反映する、より現実的な世界観を導入する。
• この現実的な世界観に整合する新たな公平性基準を導出することで、格差の拡大に対する耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのような世界観において、デモグラフィックパリティとイコライズドオッズが公平性基準として正当化されるか？
• RQ2 予測パリティは、ある文脈では公平と見なされるが、なぜ格差の拡大を防げないのか？
• RQ3 現実のデータバイアスを反映するより現実的な世界観を採用した場合、どのような新たな公平性定義が導かれるか？
• RQ4 データバイアスに関する異なる仮定は、標準的な公平性定義の妥当性にどのように影響するか？

主な発見

• デモグラフィックパリティとイコライズドオッズは、特定のタイプのデータバイアスを仮定する世界観のもとで、格差の拡大を避けるために正当化される。
• 予測パリティは、任意に大きなグループ間格差を許容するため、格差の拡大を防ぐには不十分である。
• より現実的な世界観に整合する新たな公平性概念が提案され、格差の拡大に対するより強い保護が可能になる。
• 本研究は、公平性定義は、データバイアスに関する下位の仮定に基づいて選択され、普遍的に適用されるべきではないことを示している。