[論文レビュー] Risk assessment at AGI companies: A review of popular risk assessment techniques from other safety-critical industries

Leonie Koessler, Jonas Schuett|arXiv (Cornell University)|Jul 17, 2023

Risk and Safety Analysis被引用数 8

ひとこと要約

要約: 本論文は他の安全 critical 業界の確立されたリスク評価技術を検討し、それらを AGI 企業が致命的な AI リスクを特定・分析・評価するために適用できる方法を説明する一方で、これらの技術だけでは不十分であり、AI 特有の評価と組み合わせるべきであると指摘している。

ABSTRACT

Companies like OpenAI, Google DeepMind, and Anthropic have the stated goal of building artificial general intelligence (AGI) - AI systems that perform as well as or better than humans on a wide variety of cognitive tasks. However, there are increasing concerns that AGI would pose catastrophic risks. In light of this, AGI companies need to drastically improve their risk management practices. To support such efforts, this paper reviews popular risk assessment techniques from other safety-critical industries and suggests ways in which AGI companies could use them to assess catastrophic risks from AI. The paper discusses three risk identification techniques (scenario analysis, fishbone method, and risk typologies and taxonomies), five risk analysis techniques (causal mapping, Delphi technique, cross-impact analysis, bow tie analysis, and system-theoretic process analysis), and two risk evaluation techniques (checklists and risk matrices). For each of them, the paper explains how they work, suggests ways in which AGI companies could use them, discusses their benefits and limitations, and makes recommendations. Finally, the paper discusses when to conduct risk assessments, when to use which technique, and how to use any of them. The reviewed techniques will be obvious to risk management professionals in other industries. And they will not be sufficient to assess catastrophic risks from AI. However, AGI companies should not skip the straightforward step of reviewing best practices from other industries.

研究の動機と目的

• 社会的、低確率・高影響リスクに対処する他業界の適切なリスク評価技術を特定する。
• AGI企業がこれらの技術をAIライフサイクル全体（デプロイ前から監視まで）で適用する方法を説明する。
• AGI 文脈でのこれらの技術の利点、制限、実践的考慮事項を評価する。
• 複数の技術を組み合わせて包括的なリスク像を得る時期と方法を推奨する。
• 従来のリスク評価と AI 特有の評価を統合する必要性を強調する。

提案手法

• IEC 31010:2019 および財務、航空、原子力、バイオラボの文献に基づいて技術を選択する。
• 社会的影響、尾部リスク、AI 崩壊への適用可能性の基準で技術を絞り込む。
• リスク識別、分析、評価のカテゴリに技術を分類する。
• AGI 企業における実践的な使用、制限、シナリオに関するガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 他業界の確立されたリスク評価技術を、AI 由来の致命的リスクを評価するために適応できるのか？
• RQ2 AGI 企業は AI システムライフサイクル全体で識別・分析・評価技術をどのように適用すべきか？
• RQ3 これらの技術の AGI 安全性文脈での利点、制限、制約は何か？
• RQ4 より堅牢なリスク理解を得るために複数技術をどのように組み合わせるべきか？

主な発見

• 識別技術として推奨されるのは3つ：シナリオ分析、フィッシュボーン法、リスクの類型と分類法。
• 分析技術として推奨されるのは5つ：因果マッピング、デルファイ法、相互影響分析、ボウタイ分析、システム理論的プロセス分析（STPA）。
• 評価技術として推奨されるのは2つ：チェックリストとリスクマトリクス。