[論文レビュー] Toward Idealized Decision Theory

Nate Soares, Benja Fallenstein|arXiv (Cornell University)|Jul 7, 2015

Complex Systems and Decision Making参考文献 22被引用数 27

ひとこと要約

この論文は、現在の意思決定理論—証拠的および因果的理論—が、スーパー知能システムのための堅牢な基盤を提供できないと主張し、代わりに理想化された意思決定には論理的反事後的仮説と政策選択の理論が必要であると提唱する。論文は、決定的かつ複雑な環境における合理的な意思決定の形式的定式化に向けて、更新なし意思決定理論（UDT）が有望な道筋であると示している。

ABSTRACT

This paper motivates the study of decision theory as necessary for aligning smarter-than-human artificial systems with human interests. We discuss the shortcomings of two standard formulations of decision theory, and demonstrate that they cannot be used to describe an idealized decision procedure suitable for approximation by artificial systems. We then explore the notions of policy selection and logical counterfactuals, two recent insights into decision theory that point the way toward promising paths for future research.

研究の動機と目的

• 既存の意思決定理論—証拠的および因果的理論—が、スーパー知能システムのための理想化された意思決定手順を記述するうえで有する限界を特定すること。
• 反事後的推論の形式的理論がなければ、現実世界の意思決定における高信頼性のヒューリスティクスを正当化することは不可能であると主張すること。
• 強固で人間の価値と整合する人工知能の設計を導くための、原則的で理想化された意思決定手順の必要性を動機づけること。
• 政策選択と論理的反事後的仮説を、将来的な意思決定理論研究の基盤的知見として探求すること。
• 高度なAIのための実用的アルゴリズム開発に情報を提供できる、「良い意思決定」の形式的理解を築く基盤を提供すること。

提案手法

• 環境およびエージェントの完全な知識を仮定し、期待効用に基づいて最良の政策を選択する形式的で理想化された意思決定手順を提唱すること。
• 証拠的意思決定理論（EDT）を分析し、『エージェントが行動aをとる』という出来事の条件付き確率を用いることで、決定的状況下での失敗を示し、特にエージェントの行動が世界状態によって論理的に決定されている場合に生じる誤った相関関係を明らかにすること。
• 因果的意思決定理論（CDT）を検討し、行動に干渉を加えるモデルを用いて、自己言及的および論理的依存関係の問題を明らかにすること。
• 論理的に決定された行動が異なる場合に何が起こるかを評価するための論理的反事後的仮説の概念を導入すること。
• 行動選択ではなく、エージェントの完全な意思決定ルールを意思決定の単位として扱う政策選択を提唱すること。
• 更新なし意思決定理論（UDT）を、エージェントの現在の状態に依存せず、すべての可能な世界において期待効用に基づいて政策を選択する枠組みとして提示すること。

実験結果

リサーチクエスチョン

• RQ1 なぜEDTやCDTのような標準的意味決定理論は、決定的かつスーパー知能的なシステムのための理想化された意思決定手順を記述できないのか？
• RQ2 実際に1つの行動しかとられない決定的環境において、反事後的推論をどのように形式化すべきか？
• RQ3 エージェントの意思決定と世界状態との間の論理的依存関係—特にエージェントが論理的に予測可能である場合—を意思決定理論がどのように扱えるか？
• RQ4 行動選択ではなく、完全な意思決定ルール（政策）を選択することで、従来の意思決定理論における不整合性は解消可能か？
• RQ5 論理的不確実性と自己言及性の下で、合理的な意思決定を可能にするために論理的反事後的仮説は果たすどのような役割を果たすのか？

主な発見

• 証拠的意思決定理論（EDT）は、決定的状況下で失敗する。なぜなら、『私が行動aをとる』という条件付けが、特にエージェントの行動が世界状態によって論理的に決定されている場合に、誤った相関関係を生じさせるからである。
• 因果的意思決定理論（CDT）は自己言及的問題に苦しんでおり、特にエージェントの行動が論理的に予測可能であるニューカンブスのパラドックスのような状況では、論理的依存関係を適切に扱えない。
• この論文は、標準的な反事後的仮説が、決定的エージェントが異なる行動をとった場合に何が起こるかを記述するのに不十分であることを示している。
• 政策選択は、エージェントの完全な意思決定ルールを評価の単位として扱うことで、行動ベースの意思決定理論の問題を解決し、複雑な環境における合理的選択とより整合性を保つ。
• 論理的反事後的仮説は、物理的には不可能であっても、論理的には可能であるとみなすことで、決定的システムにおける非現実的行動についての推論を可能にするフレームワークを提供する。
• 更新なし意思決定理論（UDT）は、EDTやCDTの落とし穴を避けることができ、すべての可能な世界において期待効用に基づいて政策を選択するという点で、有望な代替手段として浮上している。