[論文レビュー] Two Types of AI Existential Risk: Decisive and Accumulative

Atoosa Kasirzadeh|arXiv (Cornell University)|Jan 15, 2024

Space Science and Extraterrestrial Life被引用数 11

ひとこと要約

本論文は決定的（急激な）AIリ스크と蓄積的（徐々の）AIリスクを対比し、AIリスク統 governanceと安全研究の両経路を統合することを提案する。

ABSTRACT

The conventional discourse on existential risks (x-risks) from AI typically focuses on abrupt, dire events caused by advanced AI systems, particularly those that might achieve or surpass human-level intelligence. These events have severe consequences that either lead to human extinction or irreversibly cripple human civilization to a point beyond recovery. This discourse, however, often neglects the serious possibility of AI x-risks manifesting incrementally through a series of smaller yet interconnected disruptions, gradually crossing critical thresholds over time. This paper contrasts the conventional "decisive AI x-risk hypothesis" with an "accumulative AI x-risk hypothesis." While the former envisions an overt AI takeover pathway, characterized by scenarios like uncontrollable superintelligence, the latter suggests a different causal pathway to existential catastrophes. This involves a gradual accumulation of critical AI-induced threats such as severe vulnerabilities and systemic erosion of economic and political structures. The accumulative hypothesis suggests a boiling frog scenario where incremental AI risks slowly converge, undermining societal resilience until a triggering event results in irreversible collapse. Through systems analysis, this paper examines the distinct assumptions differentiating these two hypotheses. It is then argued that the accumulative view can reconcile seemingly incompatible perspectives on AI risks. The implications of differentiating between these causal pathways -- the decisive and the accumulative -- for the governance of AI as well as long-term AI safety are discussed.

研究の動機と目的

• 決定的なAI×リスク仮説と蓄積的AI×リスク仮説を対比する。
• 因果経路を識別するためのシステム分析フレームワークを開発する。
• 倫理的/社会的AIリスクの考慮をxリスクガバナンスと安全性に統合することを主張する。
• 蓄積的視点を具体化するための説明的シナリオを提供する。

提案手法

• AIリスク経路の系統的・定性的分析。
• 経路の非線形性、結合性、フィードバックループの特徴付け。
• 決定的ASI×リスクと蓄積的AI×リスクの対比分析。
• 蓄積的リスクを例示するためのパーフェクトストームMISTERシナリオの導入。
• 図解スキーマ（図1）リスク上昇の軌道を対比する。

実験結果

リサーチクエスチョン

• RQ1 AIが存在的壊滅を引き起こす可能性のある独立した因果経路は何か？
• RQ2 決定的と蓄積的仮説が全球システムにおける非線性、結合性、フィードバックの観点でどう異なるか？
• RQ3 蓄積的視点はAI×リスクに関する一見対立する見解を調和させ、ガバナンスに情報を提供できるか？
• RQ4 蓄積的AI×リスクの見解を実践的な観点で具体化する説明的シナリオとは何か？

主な発見

• AI×リスクは二つの因果経路、決定的（急激）と蓄積的（徐々）によって生じ得る。
• システム分析の視点は、非線性、結合性、フィードバックループを主要な経路特性として強調する。
• 決定的×リスクは急速な連鎖と超結合的なインフラを強調し、蓄積的×リスクは局所的因果関係、選択的接続性、双方向のフィードバックを強調する。
• 本論文は、社会的領域（操作、不安定、監視、信頼の侵食、経済の不安定化、権利侵害）にわたる蓄積的リスクを具体化するためのパーフェクトストームMISTERシナリオを導入する。
• 統合的ガバナンスは両経路を考慮し、AIの社会的リスクを長期的なAI安全性の一部として扱うべきである。