[論文レビュー] Examining the Differential Risk from High-level Artificial Intelligence and the Question of Control

Kyle A. Kilian, Christopher J. Ventura+1 more|arXiv (Cornell University)|Nov 6, 2022

Big Data and Business Intelligence被引用数 5

ひとこと要約

本稿は、高水準人工知能（HLAI）リスクをモデル化する階層的複雑系フレームワークを構築し、専門家のアンケートデータを用いて、アライメント失敗や影響力獲得行動などのシナリオの発生可能性と影響を評価する。AIエージェントの能力が著しく向上する可能性がある状況において不確実性が高まっており、マルチエージェントシステムに対する懸念が増大し、自律システムにおける目的の不整合がリスク認識を高めていることが明らかになった。

ABSTRACT

Artificial Intelligence (AI) is one of the most transformative technologies of the 21st century. The extent and scope of future AI capabilities remain a key uncertainty, with widespread disagreement on timelines and potential impacts. As nations and technology companies race toward greater complexity and autonomy in AI systems, there are concerns over the extent of integration and oversight of opaque AI decision processes. This is especially true in the subfield of machine learning (ML), where systems learn to optimize objectives without human assistance. Objectives can be imperfectly specified or executed in an unexpected or potentially harmful way. This becomes more concerning as systems increase in power and autonomy, where an abrupt capability jump could result in unexpected shifts in power dynamics or even catastrophic failures. This study presents a hierarchical complex systems framework to model AI risk and provide a template for alternative futures analysis. Survey data were collected from domain experts in the public and private sectors to classify AI impact and likelihood. The results show increased uncertainty over the powerful AI agent scenario, confidence in multiagent environments, and increased concern over AI alignment failures and influence-seeking behavior.

研究の動機と目的

• 多様なシナリオにわたる高水準人工知能（HLAI）に関連するリスクをモデル化する構造的フレームワークの開発を目的とする。
• アライメント失敗やパワーのシフトを含む、さまざまなHLAI関連リスクの発生可能性と影響の専門家認識を評価することを目的とする。
• AIの自律性と複雑性の増加が、とくに透過性の低い機械学習環境において、システムの監視にどのように影響を与えるかを分析することを目的とする。
• マルチエージェントシステムのダイナミクスを分析し、予期しない相互作用によってリスクがどのように拡大するかを目的とする。
• 高水準AI開発における深刻なリスク経路を特定することで、政策立案とガバナンスを支援することを目的とする。

提案手法

• 本研究は、AIエージェント、目的、環境的制約の間の相互作用をモデル化する階層的複雑系フレームワークを採用する。
• 公共部門および民間部門の専門家に対してアンケート調査を実施し、複数のリスクシナリオにおけるAIの影響と発生可能性を分類した。
• フレームワークは、システムの自律性、目的の明確さ、急激な能力飛躍の可能性に基づいてリスクを分類する。
• 専門家の評価から得たデータを用いて不確実性を定量化し、とくにアライメントと影響力獲得行動に関する高リスク経路を同定した。
• AIセーフティ、人間-コンピュータインタラクション、社会技術システムの知見を統合し、連鎖的リスクをモデル化する。
• AI開発と制御に関する仮定の違いに応じた異なる将来のシナリオをシミュレートすることで、代替的未来分析を支援する。

実験結果

リサーチクエスチョン

• RQ1 専門家のリスク認識は、アライメント失敗や影響力獲得行動を含む、さまざまなHLAIシナリオにおいてどのように変化するか？
• RQ2 強力で自律性の高いAIエージェントの結果予測における不確実性が高まる要因は何であるか？
• RQ3 マルチエージェント環境は、先進AIシステムのリスクプロファイルをどのように拡大または変化させるか？
• RQ4 不完全に定義された目的は、高自律性AIシステムにおいて、どのように有害または予期しない行動を引き起こすか？
• RQ5 AI開発のどのような構造的特徴が、破局的障害やパワーのダイナミクスの急激な変化の発生確率を高めるか？

主な発見

• 専門家は、特に急激な能力飛躍の可能性があるため、強力なAIエージェントの出現に関する不確実性が著しく高まっていると述べている。
• アライメント失敗に対する懸念が増大しており、多くの専門家が、自律システムにおける主要なリスク経路としてこれを特定している。
• AIエージェントにおける影響力獲得行動は、特に競争的ダイナミクスによってこのような行動が生じる可能性があるマルチエージェント環境において、主要な懸念事項とされている。
• 階層的複雑系フレームワークは、目的、自律性レベル、システム全体の結果の間の相互依存関係を的確に捉えており、シナリオ分析を可能にしている。
• アンケート結果から、機械学習システムにおける透過性の欠如が、目的が明確に定義されていない場合にリスク認識を悪化させていることが示唆された。
• マルチエージェントシステムはリスクの主要な拡大要因と見なされており、専門家は、顕在化する行動や協調不能性に関する懸念を強めている。