[論文レビュー] Managing extreme AI risks amid rapid progress

Yoshua Bengio, Geoffrey E. Hinton+23 more|arXiv (Cornell University)|Oct 26, 2023

Ethics and Social Impacts of AI参考文献 61被引用数 27

ひとこと要約

このコンセンサス文書は、進化するAIから生じる社会規模および制御関連のリスクを概説し、急速な進展とともに安全研究とガバナンスの緊急性を呼びかける。

ABSTRACT

Artificial Intelligence (AI) is progressing rapidly, and companies are shifting their focus to developing generalist AI systems that can autonomously act and pursue goals. Increases in capabilities and autonomy may soon massively amplify AI's impact, with risks that include large-scale social harms, malicious uses, and an irreversible loss of human control over autonomous AI systems. Although researchers have warned of extreme risks from AI, there is a lack of consensus about how exactly such risks arise, and how to manage them. Society's response, despite promising first steps, is incommensurate with the possibility of rapid, transformative progress that is expected by many experts. AI safety research is lagging. Present governance initiatives lack the mechanisms and institutions to prevent misuse and recklessness, and barely address autonomous systems. In this short consensus paper, we describe extreme risks from upcoming, advanced AI systems. Drawing on lessons learned from other safety-critical technologies, we then outline a comprehensive plan combining technical research and development with proactive, adaptive governance mechanisms for a more commensurate preparation.

研究の動機と目的

• 高度なAIシステムからの社会規模の被害と制御リスクを特定・説明する。
• AI能力の加速化に伴い、安全、倫理、ガバナンスのギャップを強調する。
• AI R&Dと国内/国際ガバナンスの緊急優先事項を推奨する。
• 能力開発と併せて安全性と倫理的使用への投資再配分を訴える。

提案手法

• 今後の自律AIと急速な能力向上から生じる潜在的リスクをレビュー・総合する。
• 監視、堅牢性、解釈可能性、包摂性などの主要な安全上の課題を強調する。
• 最前線モデルに関する登録、事象報告、基準を含むガバナンス戦略を提案する。
• 安全性と倫理研究へAI資金の大幅な再配分を提唱する。

実験結果

リサーチクエスチョン

• RQ1 ますます自律的になるAIシステムがもたらす社会規模の被害と制御喪失のリスクはどの程度だろうか？
• RQ2 AIの進歩が加速する中で過失や悪用を防ぐためには、どのようなガバナンス・規制メカニズムが必要か？
• RQ3 能力と同等に安全性・倫理・ガバナンスを優先するよう、R&D予算をどのように再配分すべきか？
• RQ4 frontierシステムの新興・予期せぬリスクを評価・監視・軽減するためにどのような枠組みが必要か？

主な発見

• 高度なAIの進展は安全性とガバナンスを凌駕する可能性があるため、社会的不公平、安定性の侵食、悪用のリスクが高まる。
• 自律AIは適切に整合・制御されていない場合、大規模な操作、監視、戦争を可能にする可能性がある。
• 現行の安全性テストと監視は高度に能力のあるシステムには不十分であり、安全性と倫理のブレークスルーが必要。
• 政府は高度な技術専門知識、迅速な行動権限、 Frontier AI開発を監視する仕組みを必要とする。
• 企業と資金提供者は安全性・倫理・ガバナンス研究とコミットメントへ大幅な予算配分を割り当てるべきである。