[論文レビュー] Causal Discovery for Fairness

Rūta Binkytė-Sadauskienė, Karima Makhlouf+3 more|arXiv (Cornell University)|Jun 14, 2022

Qualitative Comparative Analysis Research被引用数 5

ひとこと要約

この論文は、公平性に配慮した機械学習における重要なギャップに取り組み、因果探索（データから因果グラフを推論すること）が公平性評価に顕著に影響することを示している。異なる因果探索アルゴリズムが同じデータセットを用いても、因果構造が著しく異なる結果をもたらし、直接的・間接的・媒介的差別のに関する結論も大きく変化することを明らかにした。これは、信頼できる公平性評価のためには因果モデル選択に細心の注意を要することを示唆している。

ABSTRACT

It is crucial to consider the social and ethical consequences of AI and ML based decisions for the safe and acceptable use of these emerging technologies. Fairness, in particular, guarantees that the ML decisions do not result in discrimination against individuals or minorities. Identifying and measuring reliably fairness/discrimination is better achieved using causality which considers the causal relation, beyond mere association, between the sensitive attribute (e.g. gender, race, religion, etc.) and the decision (e.g. job hiring, loan granting, etc.). The big impediment to the use of causality to address fairness, however, is the unavailability of the causal model (typically represented as a causal graph). Existing causal approaches to fairness in the literature do not address this problem and assume that the causal model is available. In this paper, we do not make such assumption and we review the major algorithms to discover causal relations from observable data. This study focuses on causal discovery and its impact on fairness. In particular, we show how different causal discovery approaches may result in different causal models and, most importantly, how even slight differences between causal models can have significant impact on fairness/discrimination conclusions. These results are consolidated by empirical analysis using synthetic and standard fairness benchmark datasets. The main goal of this study is to highlight the importance of the causal discovery step to appropriately address fairness using causality.

研究の動機と目的

• 因果探索アルゴリズムが機械学習における公平性評価にどのように影響するかを調査すること。
• 推定された因果グラフのわずかな違いが、公平性評価の結論に顕著な差をもたらすことを示すこと。
• 公平性評価パイプラインにおいて、しばしば見過ごされがちな因果モデル生成の重要性を強調すること。
• 既存の公平性手法が因果グラフが既知であると仮定しているが、堅牢な因果探索がなければ誤りであることを強調すること。
• 公平性に特化した因果探索アルゴリズムの開発を提唱すること。

提案手法

• 本研究は、合成データおよび実世界の公平性ベンチマークデータセットを用いて、4つの主要な因果探索アルゴリズム（PC、FCI、GES、SBCN）を評価した。
• 制約ベース（PC、FCI）、スコアベース（GES）、構造方程式モデリング（SBCN）のアプローチを用い、観測可能なデータから因果グラフを推定した。
• 推定されたグラフ上でド計算式および干渉ベース推定を用いて、因果効果（全効果、直接効果、間接効果、説明された効果）を計算した。
• 媒介分析を実施し、因果効果を直接的（不正な差別）、間接的（代理変数を通じて不正な差別）、説明された（正当な要因による公正な差別）に分類した。
• 異なる因果構造間で、全効果（TE）、直接効果（DE）、間接的差別（ID）などの公平性指標を比較した。
• コミュニティと犯罪データセットおよび合成データを用いた実証的検証を行い、統計的独立性検定を用いてグラフ構築を支援した。

実験結果

リサーチクエスチョン

• RQ1 異なる因果探索アルゴリズムが、同じデータセットからどのように相違する因果グラフを生成するか？
• RQ2 推定された因果構造の違いが、公平性評価における差別の結論にどの程度影響を及えるか？
• RQ3 変数（例：年齢が交絡要因か中間変数か）の役割が、直接的および間接的差別の推定にどのように影響するか？
• RQ4 不適切な因果モデルは、全効果が一貫している場合でも、誤った媒介分析をもたらす可能性があるか？
• RQ5 実世界の公平性データに適さない場合でも、特定の因果構造（例：LiNGAM）を仮定することは、どのような意味を持つのか？

主な発見

• PC、FCI、GES、SBCNといった異なる因果探索アルゴリズムは、特にエッジの方向や交絡要因の有無において、顕著に異なる因果グラフを生成した。
• 人種と暴力の間の因果パス数は顕著に変動した：PC、FCI、GES、SBCNでは7〜9のパスを示したが、LiNGAMではたった1つのパスにとどまった。これはLiNGAMの非ガウス性ノイズ仮定に違反している可能性を示唆した。
• 不適切なグラフであったにもかかわらず、LiNGAMは他の手法と同様に全効果（TE ≈ 0.394）を示したが、差別のすべてを直接的と誤って分類し、間接的効果を0にした。
• 年齢を交絡要因としてモデル化するか中間変数としてモデル化するかによって、間接的差別（ID）の指標は顕著に変化し、因果構造に極めて敏感であることがわかった。
• 直接効果（DE）はLiNGAMを除き、他の手法と同等の値を示したが、LiNGAMでは間接的経路が存在しないためDEがTEと等しくなった。
• 本研究は、特に媒介分析や経路固有効果に関する公平性の結論が、全効果ではなく因果グラフの正確さに強く依存することを確認した。