[论文解读] Fairness via AI: Bias Reduction in Medical Information

Shiri Dori-Hacohen, Roberto E. Montenegro+5 more|arXiv (Cornell University)|Sep 6, 2021

Ethics in Clinical Research参考文献 15被引用 4

一句话总结

本文提出了一种新颖的「AI赋能公平性」框架，旨在通过人工智能在推荐系统和在线内容平台中主动检测并缓解偏见性健康信息——即所谓的「bisinformation」。与仅对AI模型进行去偏处理不同，该方法聚焦于社会不平等在医疗信息中的根源，通过跨学科协作与针对性计算方法，力求减少健康结果方面的差异。

ABSTRACT

Most Fairness in AI research focuses on exposing biases in AI systems. A broader lens on fairness reveals that AI can serve a greater aspiration: rooting out societal inequities from their source. Specifically, we focus on inequities in health information, and aim to reduce bias in that domain using AI. The AI algorithms under the hood of search engines and social media, many of which are based on recommender systems, have an outsized impact on the quality of medical and health information online. Therefore, embedding bias detection and reduction into these recommender systems serving up medical and health content online could have an outsized positive impact on patient outcomes and wellbeing. In this position paper, we offer the following contributions: (1) we propose a novel framework of Fairness via AI, inspired by insights from medical education, sociology and antiracism; (2) we define a new term, bisinformation, which is related to, but distinct from, misinformation, and encourage researchers to study it; (3) we propose using AI to study, detect and mitigate biased, harmful, and/or false health information that disproportionately hurts minority groups in society; and (4) we suggest several pillars and pose several open problems in order to seed inquiry in this new space. While part (3) of this work specifically focuses on the health domain, the fundamental computer science advances and contributions stemming from research efforts in bias reduction and Fairness via AI have broad implications in all areas of society.

研究动机与目标

• 解决医疗信息传播中的系统性偏见问题，此类偏见对少数群体造成不成比例的伤害。
• 提出从「AI中的公平性」向「AI赋能公平性」的转变——即利用人工智能不仅纠正模型中的偏见，更主动从源头根除社会不平等。
• 提出并定义「bisinformation」为一种独立的、具有危害性的偏见性医学内容类别，其内容在事实上准确，但因缺乏结构性背景而带有有害偏见（如种族或性别假设），并持续加剧健康差异。
• 倡导计算机科学、医学、社会学与公共卫生之间的跨学科合作，以在大规模上研究并缓解bisinformation。
• 识别在在线健康生态系统中检测、度量和应对bisinformation方面存在的关键研究空白与开放性问题。

提出的方法

• 提出一种新框架——「AI赋能公平性」，利用人工智能研究、检测并补救健康信息系统中的结构性不平等。
• 将「bisinformation」定义为与「错误信息」不同的独立类别：内容在事实上准确，但嵌入了有害偏见（如种族或性别假设），且缺乏结构性背景。
• 利用自然语言处理与机器学习技术，规模化检测医学课程与在线健康内容中的偏见性语言与图像。
• 应用人群敏感型建模，结合在线争议传播的既有研究，理解不同人口群体间bisinformation的差异化传播模式。
• 整合医学教育、批判种族理论与社会学的洞见，使AI干预建立在真实世界结构性不平等的基础之上。
• 通过推荐系统分析，识别在公共健康危机（如COVID-19虚假信息泛滥）期间，偏见内容如何在搜索引擎与社交媒体平台中被放大。

实验结果

研究问题

• RQ1 哪些与健康信息相关的社会问题最适于通过「AI赋能公平性」进行干预？
• RQ2 哪些现有或新型AI技术在检测与缓解医学内容中的bisinformation方面最为有效？
• RQ3 如何系统性地促进跨学科合作，以增强AI公平性研究在伦理与社会层面的影响？
• RQ4 bisinformation在互联网上如何以及在何处传播？其传播在不同人群群体间是否不均等？
• RQ5 哪些类型的bisinformation与错误信息最具危害性，应优先进行事实核查与反制传播？

主要发现

• 术语「bisinformation」捕捉了一种关键但研究不足的偏见性健康信息形式：其内容在事实上正确，但因缺乏结构性背景而对社会造成危害。
• 医学教育仍在持续传播有害偏见——如将种族作为基因的代理指标——而未解决社会与结构性健康决定因素（SSDoH）。
• bisinformation通过在线平台（包括搜索引擎与社交媒体）系统性传播，其中AI驱动的推荐系统放大了偏见叙事。
• 尽管其对少数群体健康结果的影响已有记录，但在健康语境下，大规模计算研究仍严重缺乏对bisinformation的研究。
• 「AI赋能公平性」框架相较于传统「AI中的公平性」更具影响力，因其针对不平等的根源，而非仅纠正AI输出。
• 该框架获得新兴研究资助的支持，例如来自国家医学考试委员会Stemmler基金的资助，验证了其在真实世界医学教育环境中的可行性与相关性。