[论文解读] Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers

Baobao Zhang, Markus Anderljung+4 more|arXiv (Cornell University)|May 5, 2021

Ethics and Social Impacts of AI参考文献 29被引用 12

一句话总结

本研究对524名顶尖人工智能会议的机器学习研究人员进行了调查，以了解他们对人工智能伦理与治理的看法。研究发现，研究人员对国际组织和科学机构信任度较高，对西方科技公司信任度中等，而对军队和中国科技公司信任度较低；研究人员强烈支持发布前的危害审查机制，并优先开展人工智能安全研究，对致命性自主武器持明显反对态度，但对非致命性军事人工智能应用则表现出更高的接受度。

ABSTRACT

Machine learning (ML) and artificial intelligence (AI) researchers play an important role in the ethics and governance of AI, including taking action against what they perceive to be unethical uses of AI (Belfield, 2020; Van Noorden, 2020). Nevertheless, this influential group's attitudes are not well understood, which undermines our ability to discern consensuses or disagreements between AI/ML researchers. To examine these researchers' views, we conducted a survey of those who published in the top AI/ML conferences (N = 524). We compare these results with those from a 2016 survey of AI/ML researchers (Grace, Salvatier, Dafoe, Zhang, & Evans, 2018) and a 2018 survey of the US public (Zhang & Dafoe, 2020). We find that AI/ML researchers place high levels of trust in international organizations and scientific organizations to shape the development and use of AI in the public interest; moderate trust in most Western tech companies; and low trust in national militaries, Chinese tech companies, and Facebook. While the respondents were overwhelmingly opposed to AI/ML researchers working on lethal autonomous weapons, they are less opposed to researchers working on other military applications of AI, particularly logistics algorithms. A strong majority of respondents think that AI safety research should be prioritized and that ML institutions should conduct pre-publication review to assess potential harms. Being closer to the technology itself, AI/ML re-searchers are well placed to highlight new risks and develop technical solutions, so this novel attempt to measure their attitudes has broad relevance. The findings should help to improve how researchers, private sector executives, and policymakers think about regulations, governance frameworks, guiding principles, and national and international governance strategies for AI.

研究动机与目标

• 了解顶尖机器学习研究人员对人工智能伦理与治理的态度。
• 将研究人员对公共部门与私营部门行为体的信任度与普通公众进行比较。
• 评估研究人员对优先开展人工智能安全研究及实施发布前危害审查的看法。
• 考察研究人员参与军事人工智能项目（包括致命性自主武器）的意愿。
• 通过识别人工智能/机器学习研究社区内部的共识与分歧，为政策与治理策略提供依据。

提出的方法

• 对2019年在NeurIPS或ICML会议上被接收论文的524名机器学习研究人员进行了调查。
• 调查包含对各类行为体（包括国际组织、政府、军队、科技公司及科学机构）信任度的直接测量。
• 受访者被询问关于人工智能安全研究优先级、发布前审查以及参与军事人工智能项目的态度。
• 调查包含对伦理关切问题的提问，包括致命性自主武器与算法偏见。
• 将数据与2018年的公众舆论调查进行对比，以比较研究人员与公众的感知差异。
• 使用统计模型分析研究人员对人工智能安全的熟悉程度、安全研究优先级与对发布前审查支持之间的相关性。

实验结果

研究问题

• RQ1 人工智能/机器学习研究人员最信任哪些公共与私营部门行为体来引导人工智能发展以符合公共利益？
• RQ2 人工智能/机器学习研究人员对军事人工智能应用的看法与对致命性自主武器的看法有何不同？
• RQ3 研究人员在多大程度上支持对机器学习研究实施发布前的危害审查流程？
• RQ4 研究人员对人工智能安全研究优先级的认知如何与他们对治理机制的支持程度相关联？
• RQ5 研究人员的信任水平与普通公众有何不同，特别是在国家军队和科技公司方面？

主要发现

• 68%的AI/机器学习研究人员认为应优先开展人工智能安全研究，表明在安全导向工作的重要性上存在强烈共识。
• 71%的受访者支持在发布前进行审查以评估机器学习研究可能造成的危害，显示出对制度化监督的广泛支持。
• 研究人员对国际组织（如联合国、欧盟）和科学机构表现出高度信任，但对国家军队和中国科技公司信任度较低。
• 仅14%的研究人员支持参与致命性自主武器项目，但44%的人愿意参与非致命性军事人工智能项目，如后勤算法。
• 研究人员对西方科技公司表现出中等信任，但对美国军队的信任度显著低于普通公众。
• 对人工智能安全的熟悉程度与对安全研究重要性的认知，与对发布前审查的支持程度显著相关（p < 0.01），证实了安全意识与治理支持之间存在强烈关联。