[論文レビュー] Lessons from complexity theory for AI governance

Noam Kolt, Michal Shur‐Ofry+1 more|ArXiv.org|Jan 7, 2025

Qualitative Comparative Analysis Research被引用数 3

ひとこと要約

本論文はAIシステムが非線形成長、出現、フィードバックループ、カスケード的リスク、尾部リスクといった複雑系の特性を示すと主張し、深い不確実性と相互連関するリスクを管理するための複雑性適合型ガバナンス原則を提案する。気候、健康、金融のガバナンスから得られる適応的・スケーラブルで予防的な規制ガイダンスを提供する。

ABSTRACT

The study of complex adaptive systems, pioneered in physics, biology, and the social sciences, offers important lessons for AI governance. Contemporary AI systems and the environments in which they operate exhibit many of the properties characteristic of complex systems, including nonlinear growth patterns, emergent phenomena, and cascading effects that can lead to tail risks. Complexity theory can help illuminate the features of AI that pose central challenges for policymakers, such as feedback loops induced by training AI models on synthetic data and the interconnectedness between AI systems and critical infrastructure. Drawing on insights from other domains shaped by complex systems, including public health and climate change, we examine how efforts to govern AI are marked by deep uncertainty. To contend with this challenge, we propose a set of complexity-compatible principles concerning the timing and structure of AI governance, and the risk thresholds that should trigger regulatory intervention.

研究の動機と目的

• 現代のAIシステムを出現、フィードバックループ、カスケードリスクなどの特性を持つ複雑適応システムとして特徴づける。
• 深い不確実性と相互接続されたインフラがもたらすガバナンス課題を分析する。
• 規制のタイミング・構造・範囲をガイドする複雑性適合型のガバナンス原則を提案する。

提案手法

• 複雑性理論とAI文献からの知見を総合し、主要な特性（非線形成長、出現、フィードバックループ、カスケード効果、尾部リスク）を特定する。
• これらの特性をガバナンス課題と規制設計の選択肢に対応づける。
• AIガバナンスの三つの望ましい要件を提案する：early/scalable intervention、adaptive governance、complexity-compatible risk thresholds。
• 気候政策、公衆衛生、金融規制の規制経験を踏まえ、適応的かつ予防的アプローチを正当化する。
• 規制の柔軟性を保ちながら効果を維持するために、オープンエンドな基準と規制裁量の是非を検討する。

実験結果

リサーチクエスチョン

• RQ1 AIシステムは非線形成長、出現、フィードバックループ、カスケードリスクといった複雑性の核心特性を示すか。
• RQ2 AIの複雑さと深い不確実性から生じるガバナンス課題は何か。
• RQ3 複雑性適合型AIガバナンスを構成する原則（タイミング、適応性、リスク閾値）は何か。
• RQ4 相互連関し不確実なAI環境下で介入のトリガーを規制当局はどう設定すべきか。

主な発見

• AIシステムは非線形成長、スケーリング挙動、新たな能力の出現、フィードバックループ、カスケード効果、尾部リスクを示し、ガバナンスを複雑にする。
• 気候政策、公衆衛生、金融の規制アプローチはAIの複雑性と不確実性を管理する上で価値ある洞察を提供する。
• 三つの中核的ガバナンス要件を提案する：（i）早期かつスケーラブルな介入、（ii）フィードバックと回復力を伴う適応的ガバナンス、（iii）複雑性適合型のリスク閾値と予防的行動。
• オープンエンドな基準と規制裁量は適応性を高める可能性があるが、最新情報と継続的な証拠探索政策が必要。
• 規制当局は情報閾値を緩和し、急速で相互連関するリスクへ対処する予防的推論を用いる必要がある。