[論文レビュー] Coordinated pausing: An evaluation-based coordination scheme for frontier AI developers

Jide Alaga, Jonas Schuett|arXiv (Cornell University)|Sep 30, 2023

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本論文は、スケーリングされたモデルに危険な能力が検出された際に、先端AI開発者が共同で研究を一時停止するための評価に基づく協調メカニズムを提案する。このメカニズムは、標準化された評価、失敗時の義務的な一時停止、開発者間の通知、安全分析、安全基準を満たした後でのみ再開という仕組みを含み、発生するAIリスクに対して構造的かつスケーラブルな対応を提供する。

ABSTRACT

As artificial intelligence (AI) models are scaled up, new capabilities can emerge unintentionally and unpredictably, some of which might be dangerous. In response, dangerous capabilities evaluations have emerged as a new risk assessment tool. But what should frontier AI developers do if sufficiently dangerous capabilities are in fact discovered? This paper focuses on one possible response: coordinated pausing. It proposes an evaluation-based coordination scheme that consists of five main steps: (1) Frontier AI models are evaluated for dangerous capabilities. (2) Whenever, and each time, a model fails a set of evaluations, the developer pauses certain research and development activities. (3) Other developers are notified whenever a model with dangerous capabilities has been discovered. They also pause related research and development activities. (4) The discovered capabilities are analyzed and adequate safety precautions are put in place. (5) Developers only resume their paused activities if certain safety thresholds are reached. The paper also discusses four concrete versions of that scheme. In the first version, pausing is completely voluntary and relies on public pressure on developers. In the second version, participating developers collectively agree to pause under certain conditions. In the third version, a single auditor evaluates models of multiple developers who agree to pause if any model fails a set of evaluations. In the fourth version, developers are legally required to run evaluations and pause if dangerous capabilities are discovered. Finally, the paper discusses the desirability and feasibility of our proposed coordination scheme. It concludes that coordinated pausing is a promising mechanism for tackling emerging risks from frontier AI models. However, a number of practical and legal obstacles need to be overcome, especially how to avoid violations of antitrust law.

研究の動機と目的

• AIモデルのスケーリング過程で危険な能力が発現した際の、体系的な対応プロトコルの欠如に応えること。
• AIモデルのスケーリングが、意図せず操り、サイバー利用、自己複製などの高リスク行動を引き起こす可能性があるという懸念に対応すること。
• 複数の開発者が危険な能力を検出した際に一斉に行動できる、実行可能でスケーラブルな協調メカニズムを開発すること。
• 反トラスト法に違反しない形での協調的一時停止の実装に向けた実用的・法的道筋を検討すること。
• 安全評価をAI開発ライフサイクルに統合する枠組みを提供し、評価結果に基づき一時停止および再開の明確なトリガーを定めること。

提案手法

• 5段階の評価に基づく協調メカニズムを実装する：(1) 危険な能力について先端モデルを評価、(2) いずれのモデルでも失敗した場合に開発を一時停止、(3) 他の開発者に通知、(4) リスク分析と安全対策の実施、(5) 安全基準を満たした後でのみ再開。
• 4つのバージョンのメカニズムを提案：自主的で公開圧力に基づくもの、共同合意、第三者監査、法的義務遵守。
• 既存の危険な能力の評価（例：権力志向行動のためのもの）を基盤としつつ、新たな標準化された評価の開発を要請。
• リスク評価に基づき、一時停止のトリガーと再開の許容基準を定義する安全基準を統合。
• 法的実現可能性を検討し、米国生産促進法第708条などの既存法における安全港（safe harbor）の可能性を調査。
• アントロピックの責任あるスケーリング政策やARC Evalsのフレームワークを模範として、各研究所における内部対応ポリシーの推進を促す。

Figure 1: The main steps of our proposed evaluation-based coordination scheme

実験結果

リサーチクエスチョン

• RQ1 先端AI開発者が、あるモデルに危険な能力が検出された際に、どのように協調的に研究を一時停止できるか？
• RQ2 協調的一時停止を実装するにあたり、最も現実的で望ましい制度的形態は何か？
• RQ3 特に反トラスト法に関する懸念を含め、協調的一時停止の実現に向けた主な法的・実務的障壁は何か？
• RQ4 危険な能力を評価する信頼性があり標準化された手法をどのように開発・検証できるか？
• RQ5 どの安全基準が、開発の一時停止と再開の判断を下すために適切か？

主な発見

• 協調的一時停止は、自己複製や自律的目標志向といった能力が発現した場合に、先端AIモデルに発生する潜在的リスクを軽減する有望なメカニズムである。
• 調査された専門家の大多数（98％）がAI研究機関が危険な能力の評価を実施すべきだと同意しており、93％が危険なリスクが検出された場合に開発の一時停止を支持している。
• 提案されたメカニズムは、4つの異なる形態で実装可能である：自主的で公開圧力に基づくもの、共同合意、第三者監査、法的義務。
• 既存の危険な能力の評価（例：権力志向行動のためのもの）は限定的ではあるが、今後の開発の基盤として機能する。
• 法的懸念、特に反トラスト法に関する懸念は依然として大きな障壁であるが、米国生産促進法第708条などの安全港の可能性が、前向きな道筋を示唆している。
• 本フレームワークは、集団的協調と、各研究所における内部対応ポリシーの両方を求める。評価結果に基づき、明確なトリガーを設け、一時停止および再開の判断を下す。

Figure 2: Collective pausing agreement (a) and individual pausing agreements with a third party (b)