[論文レビュー] Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development

Jan Kulveit, Roy Douglas+4 more|ArXiv.org|Jan 28, 2025

Ethics and Social Impacts of AI被引用数 10

ひとこと要約

本論文は、漸進的なAIの進展が、経済・文化・国家という主要な社会システムにおける人間の影響力を徐々に侵食しうると主張しており、急激な能力ジャンプがなくても取り返しのつかない力を失うリスクと存在論的リスクにつながり得る。

ABSTRACT

This paper examines the systemic risks posed by incremental advancements in artificial intelligence, developing the concept of `gradual disempowerment', in contrast to the abrupt takeover scenarios commonly discussed in AI safety. We analyze how even incremental improvements in AI capabilities can undermine human influence over large-scale systems that society depends on, including the economy, culture, and nation-states. As AI increasingly replaces human labor and cognition in these domains, it can weaken both explicit human control mechanisms (like voting and consumer choice) and the implicit alignments with human interests that often arise from societal systems' reliance on human participation to function. Furthermore, to the extent that these systems incentivise outcomes that do not line up with human preferences, AIs may optimize for those outcomes more aggressively. These effects may be mutually reinforcing across different domains: economic power shapes cultural narratives and political decisions, while cultural shifts alter economic and political behavior. We argue that this dynamic could lead to an effectively irreversible loss of human influence over crucial societal systems, precipitating an existential catastrophe through the permanent disempowerment of humanity. This suggests the need for both technical research and governance approaches that specifically address the risk of incremental erosion of human influence across interconnected societal systems.

研究の動機と目的

• 漸進的な権限喪失の概念を動機づけ、急激な侵略シナリオとは異なる体系的なAIリスクとして formalize する。
• AI主導の混乱が三つの核心的な社会システムである経済・文化・国家における明示的および暗黙の人間のアラインメントをいかに損なうかを分析する。
• システム間のフィードバックループと相互依存性を描写し、アラインメントのずれを拡大させ得る。
• 現在のアラインメント手法の限界を認識しつつ、漸進的な権限喪失を緩和または回避するための技術的およびガバナンス上のアプローチを議論する。

提案手法

• 漸進的な権限喪失の概念的枠組みを開発し、急激な乗っ取りの語りと対比させる。
• 三つの社会システム（経済、文化、国家）における現在のアラインメント機構を特徴づけ、AIによる人間の労働と認知の置換がこれらのアラインメントをどのように侵食し得るかを分析する。
• AI採用とシステム間影響を推進する報酬・インセンティブとフィードバックループを特定し、それが相関的なミスマッチをもたらす。
• 相対的および絶対的な権限喪失といった移行シナリオを検討し、それらが人間の繁栄と潜在的な絶滅レベルの結果へ及ぼす影響を検討する。
• 漸進の遅延とガバナンスのアプローチを網羅的に調査し、個々のAIシステムの単にシステムレベルのアラインメントだけでは不十分であることを強調する。

実験結果

リサーチクエスチョン

• RQ1 漸進的なAIの進展は、主要な社会システムにおける明示的および暗黙の人間のアラインメントをどのように侵食する可能性があるか。
• RQ2 AIが人間の労働と認知を代替するとき、経済・文化・国家にわたって徐々の権限喪失を引き起こす仕組みとフィードバックループは何か。
• RQ3 相対的か絶対的な権限喪失という移行経路は、取り返しのつかない人間の影響力の喪失につながる可能性があり、それらの結果は何か。
• RQ4 漸進的な権限喪失を緩和または回避する可能性のある技術的およびガバナンス戦略は何か、また現行の計画はどこで不十分か。

主な発見

• AIによる労働の置換とより広範なAI能力は、経済的権力を人間から転換させ、生産と消費における人間の嗜好の重みを低減させる。
• 文化的生産と談話はAIによってますます形作られ、あるいは置換される可能性があり、文化を人間の福祉と整合させるフィードバックループを弱体化させる。
• 国家と統治はAI主導の経済力の影響をますます受ける可能性があり、人間の代表性と社会的アラインメントを低下させる可能性がある。
• 一つのシステムでのアラインメントのずれは、相互依存性を通じて他のシステムにも連鎖し、全体的な権限喪失リスクを増幅する。
• 本論文は、この漸進的でグローバルな権限喪失が、もし人間の影響力が実質的に回復不能になるなら、存在論的な大災厄を構成し得ると主張している。