[論文レビュー] Frontier AI Regulation: Managing Emerging Risks to Public Safety

Markus Anderljung, Joslyn Barnhart+22 more|arXiv (Cornell University)|Jul 6, 2023

Ethics and Social Impacts of AI被引用数 71

ひとこと要約

論文は、重大な公共の安全リスクをもたらす可能性のあるフロンティアAIモデルを規制するための規制的な部品と初期の安全基準を提案し、ライフサイクル規制、可視性、遵守を強調しています。

ABSTRACT

Advanced AI models hold the promise of tremendous benefits for humanity, but society needs to proactively manage the accompanying risks. In this paper, we focus on what we term "frontier AI" models: highly capable foundation models that could possess dangerous capabilities sufficient to pose severe risks to public safety. Frontier AI models pose a distinct regulatory challenge: dangerous capabilities can arise unexpectedly; it is difficult to robustly prevent a deployed model from being misused; and, it is difficult to stop a model's capabilities from proliferating broadly. To address these challenges, at least three building blocks for the regulation of frontier models are needed: (1) standard-setting processes to identify appropriate requirements for frontier AI developers, (2) registration and reporting requirements to provide regulators with visibility into frontier AI development processes, and (3) mechanisms to ensure compliance with safety standards for the development and deployment of frontier AI models. Industry self-regulation is an important first step. However, wider societal discussions and government intervention will be needed to create standards and to ensure compliance with them. We consider several options to this end, including granting enforcement powers to supervisory authorities and licensure regimes for frontier AI models. Finally, we propose an initial set of safety standards. These include conducting pre-deployment risk assessments; external scrutiny of model behavior; using risk assessments to inform deployment decisions; and monitoring and responding to new information about model capabilities and uses post-deployment. We hope this discussion contributes to the broader conversation on how to balance public safety risks and innovation benefits from advances at the frontier of AI development.

研究の動機と目的

• 危険で出現的な能力を持ち得るフロンティアAIモデルの積極的な統治を動機づける。
• 予期せぬ能力、展開の安全性、急速な普及の3つの主要な規制上の課題を特定する。
• 安全基準の策定、規制の可視性、遵守機構という三分割の規制フレームワークを提案する。
• マルチステークホルダー プロセスと政府介入の可能性を通じて、革新と安全性のバランスを取るよう助言する。

提案手法

• フロンティアAIモデルを、潜在的に危険な能力を持つ高度に有能な基盤モデルとして定義する。
• 予期せぬ能力、展開の安全性、普及の3つの規制上の課題を概説する。
• 構築要素を提案する：安全基準を制度化する、規制の可視性を高める、遵守を確保する（自己規制、執行、許認可）。
• リスク評価、外部審査、リスクに基づく展開プロトコル、展開後の監視を含む初期の安全基準を提案する。

Figure 1: Example frontier AI lifecycle.

実験結果

リサーチクエスチョン

• RQ1 危険な能力を持つフロンティアAIモデルを規制するためにどのような規制戦略が必要か。
• RQ2 急速に進展するフロンティアAIの文脈で安全基準をどのように策定・更新できるか。
• RQ3 規制当局にフロンティアAIの開発と展開を可視化する仕組みは何か。
• RQ4 自主管理、監督、許認可といった適切な遵守アプローチは何か。

主な発見

• 自己規制だけではフロンティアAIリスクを管理するには不十分であり、政府の関与が必要となる可能性が高い。
• 安全基準の策定、開発プロセスの可視化、執行/遵守機構という規制の三本柱を提案する。
• リスク評価、外部審査、展開プロトコル、展開後の監視を含む初期の安全基準が概説されている。
• 規制は公共の安全を守ることと革新を抑制しないことのバランスを取り、急速なAIの進展に適応可能であるべきだ。
• フロンティアAIの規制は、AIリスクと利益に対処するより広い政策ポートフォリオの一部であるべきだ。

Figure 2: Certain capabilities seem to emerge suddenly 22 22 22 Chart from [ 63 ] . But see [ 67 ] for a skeptical view on emergence. For a response to the skeptical view, see [ 66 ] and Appendix B.