[論文レビュー] Causal foundations of bias, disparity and fairness

V. A. Traag, L. Waltman|arXiv (Cornell University)|Jul 27, 2022

Social and Intergroup PsychologySocial Sciences被引用数 18

ひとこと要約

本稿は、バイアスを正当化されていない直接的因果効果として定義し、差別のをそのようなバイアスを含む直接的または間接的因果効果として定義する因果フレームワークを提案する。構造的因果モデルを用いて、バイアスと差別のを明確に区別し、科学分野における性別バイアスや警察における人種的バイアスといった現実世界の事例におけるそれらの役割を示し、公平性にはデータそのもの以上の倫理的判断が不可欠であると主張する。

ABSTRACT

The study of biases, such as gender or racial biases, is an important topic in the social and behavioural sciences. However, the literature does not always clearly define the concept. Definitions of bias are often ambiguous or not provided at all. To study biases in a precise manner, it is important to have a well-defined concept of bias. We propose to define bias as a direct causal effect that is unjustified. We propose to define the closely related concept of disparity as a direct or indirect causal effect that includes a bias. Our proposed definitions can be used to study biases and disparities in a more rigorous and systematic way. We compare our definitions of bias and disparity with various criteria of fairness introduced in the artificial intelligence literature. In addition, we discuss how our definitions relate to discrimination. We illustrate our definitions of bias and disparity in two case studies, focusing on gender bias in science and racial bias in police shootings. Our proposed definitions aim to contribute to a better appreciation of the causal intricacies of studies of biases and disparities. We hope that this will also promote an improved understanding of the policy implications of such studies.

研究の動機と目的

• 社会的・行動的科学分野におけるバイアスと差別のの定義の曖昧さと不正確さを是正すること。
• 構造的因果モデルを用いて、バイアスと差別のを厳密に因果的根拠に基づいて理解する基盤を確立すること。
• 因果的要因と価値判断の区別を通じて、公平性の倫理的側面を明確にすること。
• 予測システムにおけるフィードバックループが、元の予測がバイアスを含んでも、自己妥当性を持つ誤った差別を生み出す仕組みを示すこと。
• バイアスの原因が因果経路のどこにあるかを特定することで、より的確かつ的確な是正策を可能にする政策的介入を導くこと。

提案手法

• 構造的因果モデル（SCM）を用いて、倫理的に正当化されていない直接的因果効果としてバイアスを定義する。
• XからYへの直接的または間接的因果効果のうち、少なくとも1つのバイアスを含むものを差別として定義し、YがXに関して不平等になることを明確にする。
• 反事後的推論を用いて公平性を評価し、因果的効果と誤った相関を区別する。
• 性別バイアスが学術採用に現れる事例と、警察の銃撃における人種的バイアスを含む事例を通じて、実システムにおけるバイアスと差別のの発生を実証する。
• 提案された定義をAI文脈における公平性基準と比較し、データのみに基づく公平性指標とは不整合である点を指摘する。
• 予測に応用することにより、予測が因果的要因に変わるフィードバックループが生じ、差別を強化することを強調する。

実験結果

リサーチクエスチョン

• RQ1 因果的効果と規範的判断を区別できるように、バイアスと差別を形式的に定義する方法は何か？
• RQ2 予測システムにおけるフィードバックループは、元の予測がバイアスを含んでも、差別を再現または拡大する仕組みは何か？
• RQ3 一般的なAI公平性基準が、提案された因果的公平性定義と不適合である理由は何か？
• RQ4 因果経路におけるバイアスの根本原因に焦点を当てることで、政策的介入がどのようにより効果的になるか？
• RQ5 因果モデリングは、観察された差がバイアス、差別、あるいはそれらのいずれでもない原因によるものかどうかをどれほど正確に特定できるか？

主な発見

• バイアスは、倫理的評価を伴う直接的因果効果として形式的に定義され、統計的分析を超えた評価が不可欠である。
• 差別は、XからYへの因果経路のうち、少なくとも1つのバイアスを含むものとして定義され、YがXに関して不平等になる。
• 警察の銃撃事例では、停止率を入力として使用する予測モデルが、人種的差別の停止率から人種的偏りのある予測を生み出し、それがさらに停止を正当化する自己強化ループを形成する。
• 本稿は、『予測のためだけ』のAIシステムでも、意思決定に応用されると因果的効果を引き起こし、差別を固定化するフィードバックループを生み出す可能性があることを示している。
• デモグラフィックパリティや同等の機会といった一般的なAI公平性基準は、提案された定義とは不適合であり、偏ったシステムがバランスの取れた結果を生み出す場合、公平であると誤って分類される可能性がある。
• 適切な因果的理解がなければ、アファーマティブアクションのような政策的介入は根本原因ではなく、症状にのみ対処する可能性があり、予期しない結果を引き起こすおそれがある。