[論文レビュー] Don't Fear the Reaper: Refuting Bostrom's Superintelligence Argument

Sebastian Benthall|arXiv (Cornell University)|Feb 27, 2017

Ethics and Social Impacts of AI参考文献 1被引用数 3

ひとこと要約

この論文は、自己改善型AIシステムが予測能力をアルゴリズム的自己変更によって向上させることに、克服できないレカリトランス（抵抗性）に直面することを示すことで、ニック・ボストロムのスーパーアイテイジェンスの議論に反論している。ベイジアンモデルを用いて、事前分布、データ収集、ハードウェアの改善におけるレカリトランスが非常に高く、知能の爆発的増大はあり得ないと示し、倫理的関心をAIの整合性ではなく、データとハードウェアのガバナンスへと再配分する。

ABSTRACT

In recent years prominent intellectuals have raised ethical concerns about the consequences of artificial intelligence. One concern is that an autonomous agent might modify itself to become "superintelligent" and, in supremely effective pursuit of poorly specified goals, destroy all of humanity. This paper considers and rejects the possibility of this outcome. We argue that this scenario depends on an agent's ability to rapidly improve its ability to predict its environment through self-modification. Using a Bayesian model of a reasoning agent, we show that there are important limitations to how an agent may improve its predictive ability through self-modification alone. We conclude that concern about this artificial intelligence outcome is misplaced and better directed at policy questions around data access and storage.

研究の動機と目的

• 自己改善型AIが知能の爆発的増大を引き起こし、人間の絶滅を招くというボストロムの主張を批判的に検討すること。
• 自己変更が、特に予測的推論において、急速かつ制御不能な知能の増加をもたらすかどうかを調査すること。
• ベイジアンフレームワークを用いて、AIシステムにおける自律的アルゴリズム的自己改善の可能性を評価すること。
• スーパーアイテイジェンスに関する倫理的懸念は誤りであり、むしろデータアクセスとハードウェア制御に焦点を当てるべきだと主張すること。

提案手法

• ベイジアン確率を用いて自己改善の予測タスクを分析する推論エージェントのモデルを構築する。
• レカリトランスの3つの主要因を特定：事前分布の指定、データ収集、ハードウェア速度。
• 知能を関数としてレカリトランスを分析し、環境的制約のため、システム能力が向上するにつれて増加することを示す。
• 事前分布の改善が自己変更によって不可能であることを示し、それは学習されない、変更不能なバイアスを反映しているからである。
• データ収集が自律的ではないこと、環境との相互作用を要することから、レカリトランスが高くなることを示す。
• ハードウェア改善は内部最適化ではなく外部要因に依存するため、自己改善の速度が制限され、結果としてレカリトランスが高くなると主張する。

実験結果

リサーチクエスチョン

• RQ1 自己変更可能なAIシステムは、予測能力へのアルゴリズム的改善によって、急速な知能の爆発的増大を達成できるか？
• RQ2 自己変更による予測性能の向上におけるレカリトランスの原因は何か？
• RQ3 事前分布の指定、データ収集、ハードウェア速度のレカリトランスは、AIにおける自己改善をどのように制限するか？
• RQ4 データおよびハードウェアへのアクセスが環境要因に依存するという事実は、知能の爆発的増大の可能性を損なうか？
• RQ5 AIリスク政策は、アルゴリズム的自己改善に注目すべきか、それともデータおよびハードウェアガバナンスに注目すべきか、その程度はいかほどか？

主な発見

• 事前分布の改善におけるレカリトランスは無限大である。なぜなら、事前分布は学習されない、変更不能なバイアスを内蔵しているからである。
• データ収集は自律的には制御できないため、環境との相互作用や探索コストに依存し、結果としてレカリトランスが高くなる。
• ハードウェア速度の向上は、内部最適化ではなく物理的・経済的制約に依存するため、高いレカリトランスが生じる。
• 知能が向上するにつれて、データおよびハードウェアの取得におけるレカリトランスは、探索コストおよびアクセスコストの増加により上昇する可能性がある。
• 予測関連の改善における高いレカリトランスの組み合わせにより、知能の爆発的増大は極めてあり得ないとされる。
• 倫理的および政策的関心は、AIの整合性やスーパーアイテイジェンスリスクから、データアクセスおよび計算リソースの制御へと移行すべきである。