[論文レビュー] Selection, Ignorability and Challenges With Causal Fairness

Jake Fawkes, Robin J. Evans+1 more|arXiv (Cornell University)|Feb 28, 2022

Political Philosophy and Ethics被引用数 4

ひとこと要約

この論文は、因果的公平性モデルにおける独立ノイズの仮定に挑戦し、こうしたモデル—しばしば反事後的公平性を計算するために使われる—が、ランダム化試験に類似した強い無視可能性仮定を必要とすることを主張している。しかし、現実の公平性データでは、こうした仮定はほとんど成立しない。著者らは、データセットにおける選択バイアスが独立ノイズ仮定を無効にし、反事後的公平性および一般的な因果的公平性手法の根拠をくずすことにあることを示している。

ABSTRACT

In this paper we look at popular fairness methods that use causal counterfactuals. These methods capture the intuitive notion that a prediction is fair if it coincides with the prediction that would have been made if someone's race, gender or religion were counterfactually different. In order to achieve this, we must have causal models that are able to capture what someone would be like if we were to counterfactually change these traits. However, we argue that any model that can do this must lie outside the particularly well behaved class that is commonly considered in the fairness literature. This is because in fairness settings, models in this class entail a particularly strong causal assumption, normally only seen in a randomised controlled trial. We argue that in general this is unlikely to hold. Furthermore, we show in many cases it can be explicitly rejected due to the fact that samples are selected from a wider population. We show this creates difficulties for counterfactual fairness as well as for the application of more general causal fairness methods.

研究の動機と目的

• 反事後的公平性の定義に根ざす、因果的公平性における広く用いられる独立ノイズモデルの使用を挑戦すること。
• 選択バイアスのため、現実の公平性設定では、こうしたモデルが要請する無視可能性仮定が現実的ではないことを示すこと。
• より広い母集団からの選択が、ノイズ変数の間の依存関係を生じさせ、i.i.d. ノイズ仮定を破壊することを示すこと。
• 反事後的公平性および経路特異的公平性手法に及ぼす実用的影響を強調すること。
• 非ランダムに抽出されたデータに適用された場合、現在の因果的公平性手法が根本的に損なわれることを主張すること。

提案手法

• 反事後的公平性を形式化するために、独立ノイズを有する構造的因果モデル（SCM）を用い、do計算および潜在的アウトカムを活用する。
• 無視可能性仮定を適用し、理想状態では反事後的変数が保護された属性と独立であることを示す。
• 選択メカニズム（例：非労働者を除外する）が、ノイズ変数と保護された属性との間の依存関係を生じさせることを示す。
• グラフィカルモデルと忠実性仮定を用いて、もし独立ノイズモデルが母集団全体に適合するならば、選択された標本には適合できないことを示す。
• 米国国勢調査、ドイツ信用、法科大学院のデータセットからの実証的データを用い、観察された性別による不均衡が無視可能性仮定を否定することを示す。
• 反事後的公平性の定義を適用し、真のSCM下では反事後的公平性である予測子でも、選択に起因するノイズの依存性のため、観察データでは保護された属性と独立でない可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 因果的公平性モデルにおける独立ノイズ仮定は、どのような条件下で成立するか？
• RQ2 現実のデータセットにおける選択バイアスは、反事後的公平性に必要な無視可能性仮定をどのように無効にするか？
• RQ3 母集団全体の分布と異なる選択された母集団において、独立ノイズモデルは反事後的要因を正確に表現できるか？
• RQ4 ノイズの依存性が経路特異的公平性およびその他の因果的公平性手法に及ぼす影響は何か？
• RQ5 データがランダム化実験から得られていない場合、なぜ反事後的公平性は実際には達成できないのか？

主な発見

• 反事後的公平性に必要な独立ノイズ仮定は、無視可能性を意味するが、これはランダム化比較試験でのみ成立し、現実のデータではほとんど成立しない。
• より広い母集団からの選択が、ノイズ変数と保護された属性との間の依存関係を生じさせ、i.i.d. ノイズ仮定を破壊する。
• 米国国勢調査データでは、労働者としての女性の割合33％が、母集団の50.9％という女性割合推定値と矛盾しており、無視可能性が否定される。
• ドイツ信用データでは、申請者における女性割合31％が、母集団の51.5％という女性割合推定値と矛盾しており、さらに無視可能性が否定される。
• 法科大学院データでは、申請者における女性割合43.8％が、母集団の49.7％という女性割合推定値と矛盾しており、無視可能性に対する強い反証となる。
• 真のSCM下では反事後的公平性である予測子でも、選択に起因するノイズの依存性のため、観察データでは保護された属性と独立でない可能性がある。