[论文解读] Advancing Community Engaged Approaches to Identifying Structural Drivers of Racial Bias in Health Diagnostic Algorithms

Jill Kuhlberg, Irene Headen+2 more|arXiv (Cornell University)|May 22, 2023

Health Policy Implementation Science被引用 5

一句话总结

本文提出了一种基于社区的系统动力学（CBSD）方法，以识别健康诊断人工智能算法中种族偏见的结构性驱动因素，通过参与式建模将生活经验与历史创伤置于核心位置。通过让黑人和棕色人种社区参与虚拟建模过程，研究发现系统性不信任与数据不平等是限制算法公平性的内生反馈机制，表明仅改善算法本身无法克服根植于历史不公的结构性不平等。

ABSTRACT

Much attention and concern has been raised recently about bias and the use of machine learning algorithms in healthcare, especially as it relates to perpetuating racial discrimination and health disparities. Following an initial system dynamics workshop at the Data for Black Lives II conference hosted at MIT in January of 2019, a group of conference participants interested in building capabilities to use system dynamics to understand complex societal issues convened monthly to explore issues related to racial bias in AI and implications for health disparities through qualitative and simulation modeling. In this paper we present results and insights from the modeling process and highlight the importance of centering the discussion of data and healthcare on people and their experiences with healthcare and science, and recognizing the societal context where the algorithm is operating. Collective memory of community trauma, through deaths attributed to poor healthcare, and negative experiences with healthcare are endogenous drivers of seeking treatment and experiencing effective care, which impact the availability and quality of data for algorithms. These drivers have drastically disparate initial conditions for different racial groups and point to limited impact of focusing solely on improving diagnostic algorithms for achieving better health outcomes for some groups.

研究动机与目标

• 为应对人工智能驱动的医疗诊断中种族偏见日益增长的担忧，特别是历史不公如何影响数据可及性与算法结果。
• 开发一种参与式系统动力学框架，将社区声音与生活经验置于建模偏见结构性驱动因素的核心位置。
• 证明仅改进算法不足以解决结构性不平等问题，必须同时应对历史创伤与系统性不信任等内生反馈机制。
• 通过系统思维与建模提升社区能力，以实现可持续的、由社区主导的应对算法不平等的行动。
• 探索虚拟化、基于社区的建模在应对健康人工智能领域复杂社会问题方面的可行性与影响。

提出的方法

• 每月举行虚拟社区会议，邀请黑人和棕色人种参与者及协调员共同开发健康人工智能中种族偏见的系统动力学模型。
• 使用定性因果回路图与迭代式实时模拟建模，呈现数据收集、算法训练与历史创伤之间反馈结构的关联。
• 将社区知识作为“心智数据库”整合到模型结构中，确保模型真实反映生活经验与结构性不平等。
• 采用虚拟群体建模方法，由协调员与社区共同实时构建模型，实现快速迭代并生成更深层次的洞察。
• 利用协调员的多元专业背景，根据社区反馈不断优化速率方程、存量与初始参数。
• 采用混合建模流程：通过社区会议收集输入与验证，随后开展由协调员主导的虚拟建模会议以推进技术开发。

实验结果

研究问题

• RQ1 在医疗保健中经历的种族歧视的历史与持续经历，如何影响人工智能训练的数据可及性与质量？
• RQ2 医疗保健与数据系统内部的哪些反馈结构会持续加剧诊断人工智能算法中的种族差异？
• RQ3 基于社区的系统动力学建模在超越算法修复措施方面，能在多大程度上增进对偏见结构性驱动因素的理解？
• RQ4 虚拟化、参与式建模过程如何建立持久的社区能力，以应对算法不平等？
• RQ5 社区创伤与不信任的集体记忆在多大程度上影响数据收集与算法表现？

主要发现

• 社区创伤与负面医疗体验的集体记忆作为内生反馈机制，降低了信任度并延缓了代表性不足的种族群体的数据收集。
• 模型揭示，数据可及性的差异并非仅由技术缺口造成，而是被系统中嵌入的历史与结构性不平等所强化。
• 虚拟社区建模会议即使参与人数较少，也能实现有意义的参与并深化洞察，这得益于结构化的90分钟议程与协调员主导的总结。
• 在会议之间由协调员实时协作构建模型，加快了迭代速度，并增强了对模型及其发现的归属感。
• 该方法表明，仅聚焦于改进诊断算法不足以减少种族差异，因为不信任与数据不平等等结构性障碍依然存在。
• 通过CBSD开展的社区参与不仅提升了模型的有效性，还在受影响社区中建立了可持续的系统思维能力。