[論文レビュー] The Sensitivity of Counterfactual Fairness to Unmeasured Confounding

Niki Kilbertus, Philip Ball+3 more|arXiv (Cornell University)|Jul 1, 2019

Ethics and Social Impacts of AI参考文献 23被引用数 20

ひとこと要約

本稿では、非線形加法的ノイズモデル（ANM）における因果的機械学習モデルの反事後的公平性に、測定されない交絡要因が与える影響を評価する感度分析手法を導入する。特に、二変量交絡に対してグリッドベースの手法を、多変量ケースに対しては自動微分を用いた最適化アプローチを提案しており、因果グラフがほぼ正しい場合でも、交絡要因が公平性指標を顕著に変化させ得ることを示している。

ABSTRACT

Causal approaches to fairness have seen substantial recent interest, both from the machine learning community and from wider parties interested in ethical prediction algorithms. In no small part, this has been due to the fact that causal models allow one to simultaneously leverage data and expert knowledge to remove discriminatory effects from predictions. However, one of the primary assumptions in causal modeling is that you know the causal graph. This introduces a new opportunity for bias, caused by misspecifying the causal model. One common way for misspecification to occur is via unmeasured confounding: the true causal effect between variables is partially described by unobserved quantities. In this work we design tools to assess the sensitivity of fairness measures to this confounding for the popular class of non-linear additive noise models (ANMs). Specifically, we give a procedure for computing the maximum difference between two counterfactually fair predictors, where one has become biased due to confounding. For the case of bivariate confounding our technique can be swiftly computed via a sequence of closed-form updates. For multivariate confounding we give an algorithm that can be efficiently solved via automatic differentiation. We demonstrate our new sensitivity analysis tools in real-world fairness scenarios to assess the bias arising from confounding.

研究の動機と目的

• 因果的公平性研究における重要なギャップに取り組むこと：因果グラフが正確に把握されているという仮定は、測定されない交絡要因のためしばしば成立しないこと。
• 実世界の予測システムにおいて、観察されない交絡要因が反事後的公平性にどの程度損なわれるかを定量化するツールを開発すること。
• 妥当なモデル不適合が生じる状況下でも、公平性基準の耐性を体系的に評価する方法を提供すること。
• 平均処置効果（ATE）の感度分析を超えて、反事後的公平性のような個別レベルの公平性指標へと拡張すること。

提案手法

• 測定されない交絡を、非線形加法的ノイズモデル（ANM）における誤差項間の共分散としてモデル化し、隠れた共通原因を表現する。
• 二変量交絡の場合、相関係数のグリッドサーチを用いて反事後的公平性の最大変化を計算し、線形モデルに非線形基底関数を適用した場合に閉形式での更新が可能であることを示す。
• 多変量交絡の場合、正定値共分散行列を制約条件とする最適化問題として定式化し、自動微分を用いて解けるようにする。
• 構造方程式を用いて、保護属性、結果、中間変数の関係をモデル化し、誤差項を観察されない交絡要因として扱う。
• 誤差項が相関を持つ交絡モデルと、独立な誤差項を仮定する非交絡モデルの両方における反事後的予測を比較し、公平性への影響を算出する。
• 交絡による公平性の最大偏差を定量化するための新規指標、CFU（Confounding Under Counterfactual Fairness）を導入する。

実験結果

リサーチクエスチョン

• RQ1 因果グラフが他の点で正しいとしても、測定されない交絡は予測モデルの反事後的公平性にどのように影響を与えるか？
• RQ2 誤差項における観察されない交絡の特定の水準に対して、反事後的公平性がどの程度まで劣化する可能性があるか？
• RQ3 二変量および多変量設定において、交絡下での最悪ケースの公平性違反を効率的に計算できるか？
• RQ4 異なる水準および符号の交絡相関が、実世界のデータセットにおける公平性指標にどのように影響を与えるか？
• RQ5 本稿で提案する感度ツールは、交絡なしを仮定するベースライン手法や、任意の誤差構造を用いる手法と比較して、どのように異なるか？

主な発見

• 法科大学院データセットでは、CFUは交絡強度に応じて増加し、中程度の相関（p_max ≈ 0.5）でピークに達した後、高水準のp_maxでは再び上昇する傾向を示し、これは数値的不安定性に起因すると考えられる。
• NHS職員アンケート調査データセットでも同様のパターンが観察された：小さなp_maxでは上昇、中程度の範囲では plateau、高p_maxで再び上昇し、すべての値がベースライン手法より低かった。
• 二変量交絡に対するグリッドベースのアプローチは、非線形基底関数を用いた線形モデルにおいて、高速かつ閉形式での解法を提供し、効率的な感度チェックを可能にする。
• 自動微分を用いた最適化アプローチは、グリッドサーチが非効率な多変量ANMにおいて、最悪ケースの公平性違反を的確に同定できた。
• ベースライン手法（独立性を仮定するか、任意の誤差構造を用いる）は、常に提案手法よりも高いCFUを示しており、新規ツールがより保守的かつ信頼性が高いことを示している。
• 本研究では、低交絡水準ではp_maxのわずかな変化がCFUに大きなジャンプを引き起こすことが判明し、初期段階でのモデル不適合に対する極めて高い感受性があることが示された。