[論文レビュー] AI Research Considerations for Human Existential Safety (ARCHES)

Andrew Critch, David Krueger|arXiv (Cornell University)|May 30, 2020

Ethics and Social Impacts of AI参考文献 108被引用数 25

ひとこと要約

この論文は、AIシステムが人間の制御を急速に上回る能力である「プレポテンス（prepotence）」の概念を導入し、AIの高度化に伴う生存的リスクを防ぐために、人間の利益とAIを整合させるフレームワークを提案している。理解、指示、制御の分野にまたがる15の研究分野を提示し、技術的セーフティ、副作用の緩和、複数ステークホルダー間の整合性を重視することで、長期的な人間の存続を強化することを目的としている。

ABSTRACT

Framed in positive terms, this report examines how technical AI research might be steered in a manner that is more attentive to humanity's long-term prospects for survival as a species. In negative terms, we ask what existential risks humanity might face from AI development in the next century, and by what principles contemporary technical research might be directed to address those risks. A key property of hypothetical AI technologies is introduced, called \emph{prepotence}, which is useful for delineating a variety of potential existential risks from artificial intelligence, even as AI paradigms might shift. A set of \auxref{dirtot} contemporary research \directions are then examined for their potential benefit to existential safety. Each research direction is explained with a scenario-driven motivation, and examples of existing work from which to build. The research directions present their own risks and benefits to society that could occur at various scales of impact, and in particular are not guaranteed to benefit existential safety if major developments in them are deployed without adequate forethought and oversight. As such, each direction is accompanied by a consideration of potentially negative side effects.

研究の動機と目的

• 人工知能が引き起こす生存的リスクを低減する可能性がある技術的AI研究分野を特定・体系化すること。
• AI研究における生存的リスクの正式な技術的関与の欠如に取り組むこと。これは、世界的な悲劇的結果をもたらす可能性があるため。
• AI研究分野のリスクと利益を、グローバルな悲劇的リスクへの影響という観点から評価するための構造的メソッドを提言すること。
• 高度なAI開発において、複数ステークホルダーの整合性、人間の認知モデル、強固な監視の重要性を強調すること。
• 具体的かつ実行可能な研究経路を通じて、AI研究者が前もって長期的リスクの影響を検討することを促すこと。

提案手法

• AIシステムが人間のシステムに急速かつ制御不能に影響を与える能力を示す「プレポテンス」というキーパラメータを導入する。
• 生存的リスクを2段階に分類する：(1) MPAIの導入イベント（例：協調的でない、または不整合なAIの導入）、(2) 危険な社会的状況（例：経済的置換、開発レース）。
• 3つの柱に分かれた研究アジェンダを提言する：単一/単一理解、単一/単一指示、単一/複数の委任。
• 透明性、自信の校正的報告、形式的検証、好みの学習、人間の信念推定など、15の具体的な研究分野を提示する。
• 各研究分野にリスク評価を統合し、潜在的な副作用と導入リスクを明示的に分析する。
• 抽象的な概念を現実的で高インパクトなAIシステムの失敗モードに根ざしたシナリオ駆動の動機づけを用いる。

実験結果

リサーチクエスチョン

• RQ1 AIシステムは、不整合や予期しない能力によって引き起こされる意図しない高インパクト行動を回避するには、どのように設計すべきか？
• RQ2 プレポテンスに達する前までに、人間の理解、制御、信頼を向上させる技術的研究分野は何か？
• RQ3 現在のAIセーフティ研究は、なぜ生存的リスクに対処できないのか、そしてそれをどのように拡張すればよいのか？
• RQ4 AI研究は、複数ステークホルダーのダイナミクスをどのように考慮し、システムが限定的または対立する利益に従事しないようにするか？
• RQ5 AI能力の向上に伴いスケーリング可能な整合性技術を開発するには、どのようなメカニズムが必要か？

主な発見

• 『プレポテンス』という概念は、パラダイムの変化が起きても、AIが引き起こす多様な生存的リスクを統合的に理解するためのフレームワークを提供する。
• 報酬モデリングや解釈可能性といった、既存のAIセーフティ研究分野は、高リスクの状況にスケーリング・適用すれば、生存的セーフティへの取り組みとして再定義できる。
• AIシステムの理解と制御を高める研究分野は、意図しないまたは悪意ある導入を防ぐために不可欠である。
• 監視なしに導入された善意あるAI研究でさえ、生存的リスクを引き起こす可能性があるため、あらゆる研究経路において副作用分析の必要性が強調される。
• 研究分野のリスクと利益を評価するためのこのメソッドは、初期段階ではrudimentary（未熟）ではあるが、AIの長期的影響を体系的に評価する出発点として価値がある。
• 本レポートは、CPAS、AAMLS、SAARMといった既存のフレームワークのギャップを特定している。特に、複数ステークホルダーの整合性や生存的スケールのリスクへの焦点の欠如が顕著であり、本研究の独自貢献を正当化している。