[论文解读] Causal effect of racial bias in data and machine learning algorithms on user persuasiveness & discriminatory decision making: An Empirical Study

Kinshuk Sengupta, Praveen Ranjan Srivastava|arXiv (Cornell University)|Jan 22, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本实证研究调查了训练数据和机器学习模型中的种族偏见如何影响用户的说服力和决策行为。通过使用反事实分析的受控实验，研究证明了存在偏见的AI模型会降低用户的说服力并扭曲决策过程，强调了在NLP系统中实现公平性和可信度的伦理AI设计的必要性。

ABSTRACT

Language data and models demonstrate various types of bias, be it ethnic, religious, gender, or socioeconomic. AI/NLP models, when trained on the racially biased dataset, AI/NLP models instigate poor model explainability, influence user experience during decision making and thus further magnifies societal biases, raising profound ethical implications for society. The motivation of the study is to investigate how AI systems imbibe bias from data and produce unexplainable discriminatory outcomes and influence an individual's articulateness of system outcome due to the presence of racial bias features in datasets. The design of the experiment involves studying the counterfactual impact of racial bias features present in language datasets and its associated effect on the model outcome. A mixed research methodology is adopted to investigate the cross implication of biased model outcome on user experience, effect on decision-making through controlled lab experimentation. The findings provide foundation support for correlating the implication of carry-over an artificial intelligence model solving NLP task due to biased concept presented in the dataset. Further, the research outcomes justify the negative influence on users' persuasiveness that leads to alter the decision-making quotient of an individual when trying to rely on the model outcome to act. The paper bridges the gap across the harm caused in establishing poor customer trustworthiness due to an inequitable system design and provides strong support for researchers, policymakers, and data scientists to build responsible AI frameworks within organizations.

研究动机与目标

• 检验语言数据集中种族偏见对用户说服力和决策结果的因果影响。
• 研究当用户依赖模型生成输出时，有偏见的AI模型如何影响个体决策过程。
• 评估模型可解释性和偏见在削弱用户对AI辅助决策的信任与公平性方面的作用。
• 提供实证证据，揭示偏见数据与歧视性结果及用户在AI交互中表达能力下降之间的关联。
• 通过识别有偏见模型设计在现实应用中的危害，支持负责任AI框架的开发。

提出的方法

• 采用混合方法研究设计，结合定量实验与用户行为的定性分析。
• 通过反事实情景的受控实验，隔离训练数据中种族偏见特征的影响。
• 使用在种族偏见数据集上训练的NLP模型，评估其对用户决策和说服力的影响。
• 测量用户在与有偏见和无偏见模型输出交互时行为和决策质量的变化。
• 应用因果推断技术，评估数据和模型中偏见对用户结果的直接影响。
• 收集用户反馈和行为指标，分析说服力和决策一致性方面的变化。

实验结果

研究问题

• RQ1 当用户依赖AI生成的回应时，训练数据中的种族偏见如何影响其说服力？
• RQ2 机器学习模型中种族偏见的存在在多大程度上改变了个体的决策过程？
• RQ3 偏见数据、模型行为与用户在AI辅助决策中的信任之间存在何种因果关系？
• RQ4 模型可解释性如何调节偏见对用户决策和表达能力的影响？
• RQ5 有偏见的AI系统在面向用户的NLP应用中以何种方式导致歧视性结果？

主要发现

• 当用户依赖模型生成的回应时，训练数据中的种族偏见显著降低了用户的说服力。
• 接触有偏见模型输出的用户表现出决策行为的改变，更倾向于支持歧视性结果。
• 研究发现，有偏见的系统设计对用户可信度和决策质量造成了可测量的负面影响。
• 有偏见的模型降低了用户表达的清晰度和有效性，尤其是在具有说服性的语境中。
• 研究结果支持了有偏见数据、模型行为与下游用户层面歧视性结果之间的因果关联。
• 研究强调了在AI开发流程中提升模型可解释性和公平性审计的必要性。