[論文レビュー] Both eyes open: Vigilant Incentives help Regulatory Markets improve AI Safety

Paolo Bova, Alessandro Di Stefano+1 more|arXiv (Cornell University)|Mar 6, 2023

Experimental Behavioral Economics Studies被引用数 4

ひとこと要約

本稿では、政府が成果に基づく目標を設定し、AI企業が民間監査機関を雇って適合性を証明するという、AI安全のための規制市場を提唱する。進化的ゲーム理論を用いて、監査機関が不正な行動を検出しなかった場合にのみ報酬が支払われる「警戒的インcentive（Vigilant Incentives）」が、危険なAI開発を効果的に抑止することを示している。一方、「報奨インセンティブ（Bounty Incentives）」—不正行動の検出に成功した場合にのみ報酬が支払われる仕組み—は、市場を不安定にする。

ABSTRACT

In the context of rapid discoveries by leaders in AI, governments must consider how to design regulation that matches the increasing pace of new AI capabilities. Regulatory Markets for AI is a proposal designed with adaptability in mind. It involves governments setting outcome-based targets for AI companies to achieve, which they can show by purchasing services from a market of private regulators. We use an evolutionary game theory model to explore the role governments can play in building a Regulatory Market for AI systems that deters reckless behaviour. We warn that it is alarmingly easy to stumble on incentives which would prevent Regulatory Markets from achieving this goal. These 'Bounty Incentives' only reward private regulators for catching unsafe behaviour. We argue that AI companies will likely learn to tailor their behaviour to how much effort regulators invest, discouraging regulators from innovating. Instead, we recommend that governments always reward regulators, except when they find that those regulators failed to detect unsafe behaviour that they should have. These 'Vigilant Incentives' could encourage private regulators to find innovative ways to evaluate cutting-edge AI systems.

研究の動機と目的

• AI開発のスピードに適応しつつ、過剰規制を最小限に抑える規制フレームワークの設計。
• AI企業および監査機関による戦略的行動を助長する可能性のある、規制市場におけるインセンティブ構造が安全を損なうリスクに対処すること。
• 適切に設計されたインセンティブを通じて、民間監査機関が危険なAI開発を効果的に抑止できるかを評価すること。
• 特に「報奨インセンティブ」と「警戒的インセンティブ」の比較を通じて、異なるインセンティブメカニズムが健全な規制市場を維持する効果を評価すること。
• 政府の監視が、AI安全規制における市場の整合性を保ち、規制の便宜化（regulatory capture）を防ぐ役割を果たすかを評価すること。

提案手法

• 進化的ゲーム理論を用いて、異なるインセンティブ制度下でのAI企業と民間監査機関の相互作用をモデル化する。
• 2つのインセンティブ構造を比較：「報奨インセンティブ」（不正行動が検出された場合にのみ報酬）と「警戒的インセンティブ」（検出失敗がなければ報酬）。
• AI企業が民間監査機関の検出確率をどのように評価するかを分析し、戦略的インcentiveをモデル化する。
• 危険なAI開発を効果的に抑止するための監査機関の検出性能を数量化し、これが市場健全性の重要な指標であると特定する。
• インセンティブの規模がリスク低減と過剰規制のバランスに与える影響を評価し、外部性が大きい場合には除き、通常は中程度のインセンティブを推奨する。
• 不確実性下での動的なAI開発状況において、規制市場が直接的な政府規制よりもトレードオフをうまく調整できることを可視化する。

Figure 2 : Bounty Incentives allow unsafe AI companies to exploit the presence of low-quality regulators. This Markov Chain diagram shows the transitions between states and their long-term frequencies. States are coloured blue if AI companies act safely and orange if AI companies act unsafely. The p

実験結果

リサーチクエスチョン

• RQ1 AI安全のための規制市場が、AI企業の危険な行動を効果的に抑止できる条件は何か？
• RQ2 特に「報奨インセンティブ」と「警戒的インセンティブ」の違いが、民間監査機関の検出能力の安定性と有効性にどのように影響を与えるか？
• RQ3 民間監査機関が危険なAI開発を信頼できる抑止力として果たすには、どの程度の検出能力を達成する必要があるか？
• RQ4 インセンティブの規模が、規制市場におけるリスク低減と過剰規制のバランスにどのように影響を与えるか？
• RQ5 国々の倫理的基準やリスク認識に差がある状況下でも、規制市場がAI安全分野における国際的協調をどの程度支援できるか？

主な発見

• 監査機関が不正な行動を検出しなかった場合にのみ報酬が支払われる「警戒的インセンティブ」は、AI企業が検出確率の高さに敏感であるため、強い抑止効果を生む。
• 不正行動の検出に成功した場合にのみ報酬が支払われる「報奨インセンティブ」は、監査機関が革新を避けて高報酬の機会を待つよう誘導するため、規制市場を不安定にする。
• モデルは、危険なAI開発を信頼できる形で抑止するためには、監査機関が十分に高い検出率を達成する必要があることを示しており、検出性能は市場健全性の重要な指標である。
• 過剰規制を避けるため、インセンティブはあまり大きくならないようにすべきであるが、外部性が大きい場合にはリスク低減を優先し、インセンティブを拡大するべきである。
• 不確実性下での動的なAI開発状況において、規制市場は直接的な政府規制よりもリスク低減と柔軟性のバランスをうまく取れる。特に政府が警戒的かつ監視的役割を果たす場合に顕著である。
• 公的またはハイブリッド型の監査機関に比べ、多様で競争的な民間監査機関の市場は、団体間の共謀リスクを低減するため、規制の便宜化に対してより回復力がある。

(a) AU Frequency