[论文解读] Both eyes open: Vigilant Incentives help Regulatory Markets improve AI Safety

Paolo Bova, Alessandro Di Stefano+1 more|arXiv (Cornell University)|Mar 6, 2023

Experimental Behavioral Economics Studies被引用 4

一句话总结

本文提出AI安全的监管市场机制，由政府设定基于结果的目标，AI公司则聘请私营监管机构以证明其合规性。通过演化博弈论分析表明，'警觉激励'（即除非监管机构未能检测到不安全行为，否则均给予奖励）能有效遏制鲁莽的AI开发；而仅在检测失败时才给予奖励的'Bounty激励'则会破坏市场的稳定性。

ABSTRACT

In the context of rapid discoveries by leaders in AI, governments must consider how to design regulation that matches the increasing pace of new AI capabilities. Regulatory Markets for AI is a proposal designed with adaptability in mind. It involves governments setting outcome-based targets for AI companies to achieve, which they can show by purchasing services from a market of private regulators. We use an evolutionary game theory model to explore the role governments can play in building a Regulatory Market for AI systems that deters reckless behaviour. We warn that it is alarmingly easy to stumble on incentives which would prevent Regulatory Markets from achieving this goal. These 'Bounty Incentives' only reward private regulators for catching unsafe behaviour. We argue that AI companies will likely learn to tailor their behaviour to how much effort regulators invest, discouraging regulators from innovating. Instead, we recommend that governments always reward regulators, except when they find that those regulators failed to detect unsafe behaviour that they should have. These 'Vigilant Incentives' could encourage private regulators to find innovative ways to evaluate cutting-edge AI systems.

研究动机与目标

• 设计一种能适应AI快速发展节奏，同时最小化过度监管的监管框架。
• 解决监管市场中激励结构可能因AI公司和监管机构的策略性行为而损害安全的风险。
• 评估私营监管机构在设计良好激励机制下，能否有效遏制不安全的AI开发。
• 比较不同激励机制（特别是'Bounty激励'与'警觉激励'）在维持健康监管市场方面的有效性。
• 评估政府监督在确保市场完整性、防止AI安全监管中的监管俘获方面的作用。

提出的方法

• 使用演化博弈论，建模不同激励方案下AI公司与私营监管机构之间的互动。
• 比较两种激励结构：'Bounty激励'（仅在检测到不安全行为时给予奖励）与'警觉激励'（除非未检测到失败，否则均给予奖励）。
• 分析AI公司对私营监管机构检测概率的感知如何影响其策略性激励。
• 量化监管机构所需达到的检测性能，以有效遏制鲁莽的AI开发，将此识别为市场健康的关键指标。
• 评估激励规模对风险降低与过度监管的影响，建议在非高外部性场景下采用适度激励。
• 将监管市场可视化为在不确定性下优于直接政府监管的机制，尤其在动态AI开发背景下能更好平衡权衡。

Figure 2 : Bounty Incentives allow unsafe AI companies to exploit the presence of low-quality regulators. This Markov Chain diagram shows the transitions between states and their long-term frequencies. States are coloured blue if AI companies act safely and orange if AI companies act unsafely. The p

实验结果

研究问题

• RQ1 在何种条件下，AI安全的监管市场能有效遏制AI公司的鲁莽行为？
• RQ2 不同激励结构（特别是'Bounty激励'与'警觉激励'）如何影响私营监管机构在检测不安全AI系统方面的稳定性与有效性？
• RQ3 私营监管机构需达到何种检测能力水平，才能对不安全的AI开发形成可信威慑？
• RQ4 激励规模如何影响监管市场中风险降低与过度监管之间的平衡？
• RQ5 当各国在伦理标准和风险认知上存在差异时，监管市场在多大程度上可支持AI安全的国际协调？

主要发现

• 警觉激励——即监管机构除非未检测到不安全行为，否则均被奖励——因AI公司对检测可能性高度敏感，从而产生强大的威慑效应。
• Bounty激励——仅在检测到不安全行为时才给予奖励——会因激励监管机构避免创新、转而等待高回报机会，从而破坏监管市场的稳定性。
• 模型表明，监管机构必须达到足够高的检测率，才能可信地遏制鲁莽的AI开发，因此检测性能是市场健康的关键指标。
• 激励不应过度慷慨，以避免过度监管，尽管在涉及大外部性的情况下可适度提高激励以优先降低风险。
• 在不确定性下，监管市场在平衡风险降低与适应性方面优于直接政府监管，尤其当政府作为警觉监督者时表现更优。
• 与公共或混合型监管机构相比，该框架更能抵御监管俘获，因为多样且竞争激烈的私营监管机构市场可降低合谋风险。

(a) AU Frequency