[论文解读] ESR: Ethics and Society Review of Artificial Intelligence Research

Michael S. Bernstein, Margaret Levi+4 more|arXiv (Cornell University)|Jun 22, 2021

Ethics and Social Impacts of AI参考文献 84被引用 14

一句话总结

该论文介绍了斯坦福大学的伦理与社会审查（Ethics and Society Review, ESR），这是针对人工智能研究的强制性机构审查委员会，用于评估超越人类受试者的社会与伦理风险。在审查41份提案后，ESR发现少数群体伤害、利益相关者参与、双重用途及数据代表性等问题反复出现，其中58%的研究人员报告称设计发生了变更，100%表示愿意再次参与，表明该机制在将伦理嵌入人工智能研究资助方面具有显著成效。

ABSTRACT

Artificial intelligence (AI) research is routinely criticized for its real and potential impacts on society, and we lack adequate institutional responses to this criticism and to the responsibility that it reflects. AI research often falls outside the purview of existing feedback mechanisms such as the Institutional Review Board (IRB), which are designed to evaluate harms to human subjects rather than harms to human society. In response, we have developed the Ethics and Society Review board (ESR), a feedback panel that works with researchers to mitigate negative ethical and societal aspects of AI research. The ESR's main insight is to serve as a requirement for funding: researchers cannot receive grant funding from a major AI funding program at our university until the researchers complete the ESR process for the proposal. In this article, we describe the ESR as we have designed and run it over its first year across 41 proposals. We analyze aggregate ESR feedback on these proposals, finding that the panel most commonly identifies issues of harms to minority groups, inclusion of diverse stakeholders in the research plan, dual use, and representation in data. Surveys and interviews of researchers who interacted with the ESR found that 58% felt that it had influenced the design of their research project, 100% are willing to continue submitting future projects to the ESR, and that they sought additional scaffolding for reasoning through ethics and society issues.

研究动机与目标

• 解决在传统机构审查委员会（IRB）范围之外，评估人工智能研究社会与伦理风险的机构机制缺失问题。
• 回应人工智能社会影响日益增长的批评，包括系统性偏见、劳动力替代及不平等结果。
• 开发一种可扩展的强制性审查流程，与现有资助机制相辅相成，确保伦理考量在早期阶段即被整合。
• 建立一个反馈循环，通过专家小组的结构化、迭代式审查影响研究设计。
• 建立一种制度化人工智能研究伦理审查的范例，可供其他大学和资助机构采纳。

提出的方法

• 将伦理与社会审查（ESR）作为斯坦福大学人工智能资助提案的强制性预资助要求实施。
• 将ESR整合至资助流程中：研究人员在提交资助申请时，需一并提交关于伦理与社会影响的说明。
• 在研究人员与多学科ESR专家组之间开展多轮迭代审查，包括反馈与修改，再做出资助决定。
• 由来自不同领域的专家（如哲学、政治学、医学、行为科学）组成的评审小组评估社会风险。
• 采用结构化反馈流程，重点关注对边缘化群体的伤害、利益相关者参与、双重用途风险及数据代表性。
• 收集并分析研究人员的调查与访谈数据，以评估ESR流程的影响与可用性。

实验结果

研究问题

• RQ1 如何设计机构审查流程，以评估超出传统IRB范围的人工智能研究的社会与伦理风险？
• RQ2 强制性伦理审查流程在多大程度上影响了人工智能研究项目的设计与范围？
• RQ3 通过此类审查流程，最常识别出哪些类型的伦理与社会风险？
• RQ4 研究人员如何看待强制性伦理审查小组对其工作的价值与影响？
• RQ5 为确保伦理在人工智能研究资助中广泛、公平且有效地整合，需要哪些机构结构？

主要发现

• ESR流程在第一年应用于41份人工智能研究提案，反馈显示多个项目中反复出现伦理关切。
• 最常见的问题包括对少数群体（如种族、性别、社会经济群体）的伤害、研究设计中缺乏多样化的利益相关者参与、双重用途风险以及数据代表性问题。
• 58%的研究人员表示ESR反馈导致其项目设计发生具体变更，表明该流程对研究发展具有实际影响。
• 100%的受访研究人员表示愿意在未来提交项目至ESR，显示出高度的机构认可度与感知价值。
• 研究人员希望获得更多的伦理推理支持，表明在审查流程之外仍需更系统的指导。
• 当ESR促使研究人员关注此前被忽视的伦理维度（尤其是权力关系与系统性不公）时，其帮助被认为最为显著。