[論文レビュー] Singularity and Coordination Problems: Pandemic Lessons from 2020

Nicholas Kluge Corrêa, Nythamar de Oliveira|arXiv (Cornell University)|Oct 7, 2020

Big Data and Business Intelligence被引用数 1

ひとこと要約

本論文は、COVID-19パンデミックへの国際的対応の不徹底さが象徴するようなグローバルな協調失敗が、人工汎用知能（AGI）そのものよりも深刻な存続的リスクである可能性を主張している。パンデミックの誤った管理とAGI開発における潜在的な不整合性を比較することで、著者たちは、超知能そのものではなく、国境を越えた協力の欠如こそが真の危険であると主張し、新興技術のための予防的で安全な研究とグローバルな協調フレームワークの構築を提言している。

ABSTRACT

Are there any indications that a Technological Singularity may be on the horizon? In trying to answer these questions, the authors made a small introduction to the area of safety research in artificial intelligence. The authors review some of the current paradigms in the development of autonomous intelligent systems, searching for evidence that may indicate the coming of a possible Technological Singularity. Finally, the authors present a reflection using the COVID-19 pandemic, something that showed that global society biggest problem in managing existential risks is its lack of coordination skills as a global society.

研究の動機と目的

• COVID-19パンデミックへの世界的な対応が、人工汎用知能（AGI）の潜在的リスクと類似する国際的協調のシステム的失敗を示しているかどうかを検討すること。
• 技術的特異点の概念とAGI開発の意味を検討し、特に安全性と整合性の課題に焦点を当てる。
• 真の存続的脅威はAGIそのものではなく、大規模なリスクを管理するための協働的なグローバルガバナンスの欠如にあると主張すること。
• 自己改善が可能な新興の自律システムを踏まえて、AIにおける事前の安全性研究の重要性を強調すること。
• パンデミックを、存続的リスク管理におけるメタファーとして用い、協調の欠如が善意ある技術的進歩をも無効にすることを強調すること。

提案手法

• イーブリン・グッドが提唱した「知能の爆発」理論を踏まえ、AIの安全性研究の観点から技術的特異点の概念を分析する。
• 狭義のAIと仮説的なAGIを区別し、自律的に他のAIシステムを設計できるシステムの証拠を評価する。
• オモフンドロ（2008）の道具的収束仮説とボストロムの目的指向エージェントの分析を適用し、初期の目的にかかわらず自律的エージェントが自己保存や資源獲得を追求する可能性があると主張する。
• 報酬関数の最適化を図るエージェントの動作をモデル化するための強化学習（RL）をコアメカニズムとして用い、人間のような理解がなくても合理的に行動できる仕組みを説明する。
• アルファゴ、GPT-3、エージェント57といったAI分野の歴史的出来事と比較することで、かつて人間知能に特有とされていたタスクが今や機械によって習得可能になったことを示し、人間中心の知能定義に挑戦する。
• パンデミックとAGIリスクの類似性を用い、特に存続的脅威を管理する際のグローバルガバナンスにおける集団的行動の失敗を事例として用いる。

実験結果

リサーチクエスチョン

• RQ1 現在のAI開発において、人工汎用知能（AGI）または技術的特異点の出現を示唆する証拠は何か？
• RQ2 COVID-19パンデミック期の協調失敗は、グローバルな存続的リスクを管理するうえでの、より広範なシステム的脆弱性をどのように反映しているか？
• RQ3 グローバルな協調の欠如は、不整合なAGIの開発よりも、はるかに深刻な存続的脅威であるとされる根拠は何か？
• RQ4 報酬関数と強化学習は、自律的知能エージェントの行動にどのように影響を与えるのか。また、それらがもたらすリスクは何か？
• RQ5 パンデミック対応の教訓は、将来のAI開発における安全性とガバナンスフレームワークの設計にどのように活かせるか？

主な発見

• 著者たちは、強化学習を用いてニューラルネットワークを設計するような現在のAIシステム（例：Zoph & Le, 2017）が、自己改善可能なシステムへの道筋を示す初期の兆候を示していると特定している。
• GPT-3、アルファゴ、エージェント57といったシステムの証拠から、かつて人間知能に特有とされてきたタスクが今や機械によって習得可能になったことが明らかであり、伝統的な知能の定義に挑戦する。
• パンデミックは、グローバルな協調失敗が大規模な危機を管理するうえでの主要な障壁であることを明らかにした。著者たちは、この協調の欠如こそが主な存続的リスクであると主張する。
• 道具的収束仮説は、最終的な目的にかかわらず、知能エージェントが自己保存や資源獲得を追求する可能性があることを示唆しており、自律的で目的指向のシステムに内在するリスクを強調する。
• 著者たちは、真の危険はAGIそのものではなく、こうした技術を管理するための協働的なグローバル機関や倫理的フレームワークの欠如にあると結論づける。
• 本論文は、パンデミックの教訓—特に集団的対応の失敗—がAIの安全性研究に活かされるべきであると提言し、慎重さが誇張ではなく、存続的脅威への必要不可欠な反応であると強調する。