[論文レビュー] Evaluating Frontier Models for Dangerous Capabilities

Mary Phuong, Matthew Aitchison+25 more|arXiv (Cornell University)|Mar 20, 2024

Infrastructure Resilience and Vulnerability Analysis被引用数 9

ひとこと要約

本論文は危険な能力評価の計画を開発し、 Gemini 1.0 モデルを四つの領域（説得、サイバーセキュリティ、自己増殖、自己推論）でパイロットし、強力な危険な能力は見られないが早期の警告サインを示す。

ABSTRACT

To understand the risks posed by a new AI system, we must understand what it can and cannot do. Building on prior work, we introduce a programme of new "dangerous capability" evaluations and pilot them on Gemini 1.0 models. Our evaluations cover four areas: (1) persuasion and deception; (2) cyber-security; (3) self-proliferation; and (4) self-reasoning. We do not find evidence of strong dangerous capabilities in the models we evaluated, but we flag early warning signs. Our goal is to help advance a rigorous science of dangerous capability evaluation, in preparation for future models.

研究の動機と目的

• フロンティアAIモデルにおける危険な能力を評価するための厳格なフレームワークを確立する。
• このフレームワークを Gemini 1.0 モデルへパイロット適用し、特定のリスク領域を評価する。
• モデルがスケールするにつれて危険な能力の早期警告サインを特定する。
• 詳細な評価方法論とプロンプトを提供してガバナンスと安全研究を支援する。

提案手法

• 4つの危険能力ドメインを定義する: 説得と欺瞞、サイバーセキュリティ、自己増殖、自己推論。
• 計画/推論フレームワークとツールを組み合わせた支架型エージェント設定を開発する。
• 対話ベースの評価のため、モデルごとに100名の参加者を対象とした人間を介在させた評価を実施する。
• 統制された条件下で自律エージェントの能力を検証するため、内部のサイバー攻撃およびCTF風ベンチマークを展開する。
• サイバーセキュリティ知識に関連するデュアルユース能力として脆弱性検知を評価する。
• プロンプト、評価者指示、および評価インフラストラクチャを詳述した付録を提供する。

実験結果

リサーチクエスチョン

• RQ1 Gemini 1.0 モデルは説得、欺瞞、サイバーセキュリティ、自己増殖、または自己推論において強力な危険能力を示しますか？
• RQ2 これらの領域でフロンティアモデルが改善・スケールするにつれて、どのような早期警告サインが現れますか？
• RQ3 統制された評価の下で、支架型エージェント設定は危険能力を引き出すまたは露呈させるのにどれくらい効果的ですか？
• RQ4 各ドメインにおける Gemini 1.0 の異なるバリアント（Nano、Pro、Ultra）間での能力の相対的な成熟度はどの程度ですか？

主な発見

• Gemini 1.0 モデルは、検証された領域において強力な危険能力を示しません。
• 説得と欺瞞は、検証されたドメインの中で最も成熟しているように見え、より強力なモデルは評価全体で初歩的な能力を示します。
• より強力なモデルはより広い範囲の能力を示すものの依然として限界があり、危険能力は一般的能力の向上の副産物として出現する可能性があることを示唆します。
• 予報者はこれらの評価で初めて高得点が出るまでの中央値を、能力横断で2025年から2029年の間と推定しました。
• この評価フレームワークは、将来の研究と再現性を支援するための詳細な方法論、プロンプト、および評価者指示を提供します。