[论文解读] AI Risk Skepticism, A Comprehensive Survey

Vemir Michael Ambartsoumean, Roman V. Yampolskiy|arXiv (Cornell University)|Feb 16, 2023

Misinformation and Its Impacts被引用 6

一句话总结

本文对人工智能风险的怀疑态度进行了全面分析，根据其背后的认知偏见和错误推理，对AI风险怀疑进行了分类。文章类比了历史上的科学怀疑现象，并提出了一个结构化的框架，以评估和反驳反对意见，旨在改善研究人员之间关于AI安全的讨论。

ABSTRACT

In this thorough study, we took a closer look at the skepticism that has arisen with respect to potential dangers associated with artificial intelligence, denoted as AI Risk Skepticism. Our study takes into account different points of view on the topic and draws parallels with other forms of skepticism that have shown up in science. We categorize the various skepticisms regarding the dangers of AI by the type of mistaken thinking involved. We hope this will be of interest and value to AI researchers concerned about the future of AI and the risks that it may pose. The issues of skepticism and risk in AI are decidedly important and require serious consideration. By addressing these issues with the rigor and precision of scientific research, we hope to better understand the objections we face and to find satisfactory ways to resolve them.

研究动机与目标

• 系统分析并基于潜在认知偏见对AI风险怀疑进行分类。
• 将AI风险怀疑与科学领域中的历史怀疑现象进行类比，以提供背景参照。
• 识别并分类在拒绝AI风险担忧时常见的错误推理类型。
• 为研究人员提供一个严谨的框架，以评估和回应AI安全讨论中的怀疑态度。
• 通过澄清误解，促进AI研究人员与怀疑者之间更富有成效的对话。

提出的方法

• 作者对AI风险讨论及其在科学领域中的相关怀疑进行了全面的文献回顾。
• 他们根据错误推理类型（如非此即彼的错误二分法、过度概括、诉诸无知等）将怀疑态度分类。
• 通过比较分析，将AI风险怀疑与科学其他领域中的类似怀疑形式联系起来。
• 运用形式推理对反对AI风险的常见论点进行解构，识别其中的逻辑不一致之处。
• 通过主题分析对AI安全文献中具有代表性的怀疑性主张进行验证，以确认框架的有效性。
• 整合认知科学与科学哲学的洞见，以评估怀疑态度的合理性。

实验结果

研究问题

• RQ1 支撑AI风险怀疑的主要认知偏见和逻辑谬误是什么？
• RQ2 AI风险怀疑的形式与科学其他领域中的历史怀疑有何相似之处？
• RQ3 在拒绝AI风险担忧的论点中，哪些类型的错误推理最为普遍？
• RQ4 研究人员如何运用结构化、基于证据的推理，有效回应怀疑？
• RQ5 AI风险怀疑在多大程度上源于误解，而非真正的科学分歧？

主要发现

• 研究识别出多种反复出现的认知偏见，如对当前AI能力的过度自信以及对长期风险的轻视，这些是AI风险怀疑的核心因素。
• 怀疑往往源于非此即彼的错误二分法，例如将AI安全问题简化为‘必然毁灭’或‘完全无关’两种极端。
• 许多怀疑性论点依赖于诉诸无知，或以缺乏未来风险的实证证据为由进行反驳，尽管存在合理的理论路径。
• 历史类比表明，科学领域的怀疑（如对气候变化或大流行病准备的抵制）通常遵循相似的延迟认知模式。
• 作者证明，相当一部分AI风险怀疑并非基于证据，而是源于对AI发展时间线和能力的误解。
• 本文提出的框架使研究人员能够系统地解构并以逻辑精确性回应怀疑性主张。