[论文解读] Causal foundations of bias, disparity and fairness

V. A. Traag, L. Waltman|arXiv (Cornell University)|Jul 27, 2022

Social and Intergroup PsychologySocial Sciences被引用 18

一句话总结

本文提出了一套因果框架，将偏差定义为未经正当理由的直接因果效应，将差异定义为包含此类偏差的直接或间接因果效应。通过结构因果模型，该研究厘清了偏差与差异之间的区别，展示了其在现实案例（如科学领域的性别偏差和执法中的种族偏差）中的作用，并主张公平性要求超越数据本身的伦理判断。

ABSTRACT

The study of biases, such as gender or racial biases, is an important topic in the social and behavioural sciences. However, the literature does not always clearly define the concept. Definitions of bias are often ambiguous or not provided at all. To study biases in a precise manner, it is important to have a well-defined concept of bias. We propose to define bias as a direct causal effect that is unjustified. We propose to define the closely related concept of disparity as a direct or indirect causal effect that includes a bias. Our proposed definitions can be used to study biases and disparities in a more rigorous and systematic way. We compare our definitions of bias and disparity with various criteria of fairness introduced in the artificial intelligence literature. In addition, we discuss how our definitions relate to discrimination. We illustrate our definitions of bias and disparity in two case studies, focusing on gender bias in science and racial bias in police shootings. Our proposed definitions aim to contribute to a better appreciation of the causal intricacies of studies of biases and disparities. We hope that this will also promote an improved understanding of the policy implications of such studies.

研究动机与目标

• 解决社会与行为科学中现有偏差与差异定义的模糊性与不精确性。
• 利用结构因果模型，为理解偏差与差异建立严谨的因果基础。
• 通过区分经验因果关系与关于正当性的规范判断，阐明公平的伦理维度。
• 展示预测系统中的反馈回路如何产生看似自我验证的虚假差异。
• 通过识别偏差在因果路径中的起源位置，指导更具针对性和有效性的政策干预。

提出的方法

• 使用结构因果模型（SCMs）形式化因果关系，将偏差定义为在伦理上不正当的直接因果效应。
• 将差异定义为从变量 X 到 Y 的任何直接或间接因果效应，只要其路径中包含至少一个偏差，即导致 Y 相对于 X 的不公平。
• 运用反事实推理评估公平性，区分因果效应与虚假相关性。
• 通过案例研究——学术招聘中的性别偏差和警察执法中的种族偏差——说明偏差与差异在真实系统中的产生机制。
• 将所提出的定义与人工智能文献中的公平性标准进行比较，揭示其与仅基于数据的公平性度量之间的不相容性。
• 强调在决策中使用预测结果会引入反馈回路，使预测转化为因果，从而强化差异。

实验结果

研究问题

• RQ1 如何以形式化方式定义偏差与差异，以区分因果效应与规范性判断？
• RQ2 预测系统中的反馈回路在何种方式下会重现或放大差异，即使原始预测基于有偏差的数据？
• RQ3 为何常见的AI公平性标准与所提出的因果公平性定义不相容？
• RQ4 当政策干预聚焦于因果路径中偏差的根源而非下游结果时，其有效性如何提升？
• RQ5 因果建模在多大程度上可帮助识别观察到的差异是源于偏差、差异，还是两者皆非？

主要发现

• 偏差被正式定义为在伦理上不正当的直接因果效应，其判断需超越统计分析，依赖伦理评估。
• 差异被定义为从 X 到 Y 的任何因果路径，只要其路径中包含至少一个偏差，即导致 Y 相对于 X 的不公平。
• 在警察执法案例中，若预测模型以拦截率为输入，可能形成自我强化回路：种族差异导致的拦截率差异，会生成具有种族偏见的预测，而这些预测又为更多拦截提供正当性，从而进一步加剧差异。
• 本研究表明，即使仅用于预测的AI系统，当其被用于决策时，也可能引发因果效应，形成反馈回路，从而固化差异。
• 常见的AI公平性标准（如人口统计均等或机会均等）与所提出的定义不相容，因为它们可能将有偏差的系统误判为公平，只要其结果呈现平衡性。
• 若缺乏对因果机制的正确认识，诸如肯定性行动等政策干预可能仅针对症状而非根源，从而导致意想不到的后果。