[论文解读] Evaluating Frontier Models for Dangerous Capabilities

Mary Phuong, Matthew Aitchison+25 more|arXiv (Cornell University)|Mar 20, 2024

Infrastructure Resilience and Vulnerability Analysis被引用 9

一句话总结

本论文开发了一套危险能力评估程序，并在 Gemini 1.0 模型上进行四个领域的试点（说服、网络安全、自我繁殖、自我推理），未发现强烈的危险能力，但发出了早期警示信号。

ABSTRACT

To understand the risks posed by a new AI system, we must understand what it can and cannot do. Building on prior work, we introduce a programme of new "dangerous capability" evaluations and pilot them on Gemini 1.0 models. Our evaluations cover four areas: (1) persuasion and deception; (2) cyber-security; (3) self-proliferation; and (4) self-reasoning. We do not find evidence of strong dangerous capabilities in the models we evaluated, but we flag early warning signs. Our goal is to help advance a rigorous science of dangerous capability evaluation, in preparation for future models.

研究动机与目标

• 建立一个严格的框架来评估前沿 AI 模型中的危险能力。
• 在 Gemini 1.0 模型上试点该框架，以评估特定风险领域。
• 随着模型规模扩大，识别危险能力的早期警示信号。
• 通过提供详细的评估方法和提示，支持治理与安全研究。

提出的方法

• 将四个危险能力领域界定为：说服与欺骗、网络安全、自我繁殖、自我推理。
• 开发脚手架式代理设置，将模型与规划/推理框架和工具相结合。
• 使用人工参与评估，对每个模型的对话评估进行100名参与者的参与。
• 在受控条件下部署内部网络攻击和 CTF 风格基准测试，以测试自治代理能力。
• 评估脆弱性检测作为与网络安全知识相关的双用途能力。
• 提供附录，详述提示、评估者指令和评估基础设施。

实验结果

研究问题

• RQ1 Gemini 1.0 模型在说服、欺骗、网络安全、自我繁殖或自我推理方面是否表现出强烈的危险能力？
• RQ2 随着前沿模型在这些领域的改进和扩展，出现了哪些早期警示信号？
• RQ3 在受控评估下，脚手架式代理设置在引出或揭示危险能力方面有多有效？
• RQ4 在不同的 Gemini 1.0 变体（Nano、Pro、Ultra）中，各领域的能力成熟度相对如何？

主要发现

• Gemini 1.0 模型在测试领域中未显示出强烈的危险能力。
• 说服与欺骗在测试领域中看起来最成熟，较强的模型在各评估中显示出初步能力。
• 较强的模型表现出更广泛但仍有限的能力，表明危险能力可能作为一般能力提升的副产品出现。
• 预测者估计在这些评估中首次达到高分的中位时间在 2025 年至 2029 年之间，涵盖各项能力。
• 评估框架提供了详细的方法、提示和评估者指令，以支持未来的研究和复制。