[论文解读] Big Bang, Low Bar -- Risk Assessment in the Public Arena
本文主张在风险评估中采用“大爆炸、低门槛”原则，认为即使失败的可能性较低，其潜在严重性也应降低采取行动的阈值。文章批评了在《自然》等高影响力期刊中对人工智能存在性风险的轻视态度，指出若不应用此原则，将导致对灾难性可能性的鲁莽忽视。
One of the basic principles of risk management is that we should always keep an eye on ways that things could go badly wrong, even if they seem unlikely. The more disastrous a potential failure, the more improbable it needs to be, before we can safely ignore it. This principle may seem obvious, but it is easily overlooked in public discourse about risk, even by well-qualified commentators who should certainly know better. The present piece is prompted by neglect of the principle in recent discussions about the potential existential risks of artificial intelligence. The failing is not peculiar to this case, but recent debates in this area provide some particularly stark examples of how easily the principle can be overlooked.
研究动机与目标
- 强调一种广泛被忽视的根本风险管理原则：潜在损害越大，采取行动的阈值应越低。
- 批判高影响力科学机构，尤其是《自然》杂志，尽管人工智能存在性风险可能造成灾难性后果，仍将其斥为“制造恐慌”。
- 主张证明责任应呈非对称性——那些否认存在性风险者必须达到极高的确定性标准。
- 通过将短期与长期风险整合进统一的风险管理框架，推动人工智能治理中的包容性与长期思维。
- 呼吁权威科学声音坚持基本风险原则，改善公众对新型、高后果技术风险的讨论。
提出的方法
- 分析公众对人工智能风险的讨论，特别是《自然》杂志的社论及相关媒体报道，以识别风险评估推理中的缺陷。
- 应用核心风险管理原则：潜在失败越灾难性，采取行动的阈值越低。
- 使用历史类比（如泰坦尼克号、挑战者号）说明忽视低概率、高影响风险的后果。
- 主张证明责任主要落在那些否认存在性风险的人身上，因为误判为“假阴性”的代价极高。
- 提出一个概念性口号——“大爆炸、低门槛”——作为该原则的助记符，类似于“相关性不等于因果性”。
- 强调包容性、跨学科的人工智能治理的重要性，反对将短期与长期风险关切对立起来。
实验结果
研究问题
- RQ1为何人工智能的存在性风险常被轻视为假设性或恐惧化言论，尽管其潜在灾难规模巨大？
- RQ2对于低概率、高影响风险，应设定何种适当阈值以使其值得严肃关注？
- RQ3在风险评估中，假阳性与假阴性代价的非对称性如何影响证明责任的分配？
- RQ4为何《自然》等有影响力的科学机构在公共讨论中未能坚持基本风险管理原则？
- RQ5如何改进公众与科学讨论，以防止在高风险技术中忽视灾难性风险？
主要发现
- 《自然》杂志社论将人工智能存在性风险斥为“制造恐慌”，反映出其未能应用“大爆炸、低门槛”原则，即灾难性后果应降低关注的阈值。
- 误判为“假阴性”（即忽视真实存在性风险）的代价极高，因此证明责任应主要落在那些否认此类风险的人身上。
- 包括《自然》等期刊在内的知名科学声音有责任坚持基本风险原则，但在此类人工智能存在性风险讨论中，这一责任未被履行。
- 缺乏一个广泛认可的高影响风险评估口号（如“相关性不等于因果性”）加剧了该原则在公共辩论中的被忽视。
- 本文主张，短期与长期人工智能风险必须一并应对，因为路径依赖意味着早期决策将限制未来选择。
- 该批评不仅限于人工智能：此类风险管理失败在新兴技术中也可能重复出现，凸显了改进公共讨论系统性机制的必要性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。