[論文レビュー] Reflective Oracles: A Foundation for Classical Game Theory

Benja Fallenstein, Jessica Taylor+1 more|arXiv (Cornell University)|Aug 17, 2015

Computability, Logic, AI Algorithms参考文献 2被引用数 3

ひとこと要約

この論文は、同じオラクルにアクセスするオラクルマシンの挙動に関する質問に応答できる確率的オラクル、すなわち反映的オラクルを導入する。これにより、他のエージェントが区別されないコンponentsとして埋め込まれた環境において、チューリングマシンが完全なベイズ的推論を行うことが可能になる。主な結果は、このようなオラクルを使用するエージェントがほとんど確実にナッシュ均衡をとることであり、混合戦略の確率はオラクルの内在的ランダムネスに起因する。これにより、プレイヤーを根本的に特別視する必要のない古典的ゲーム理論の基礎が提供される。

ABSTRACT

Classical game theory treats players as special---a description of a game contains a full, explicit enumeration of all players---even though in the real world, "players" are no more fundamentally special than rocks or clouds. It isn't trivial to find a decision-theoretic foundation for game theory in which an agent's coplayers are a non-distinguished part of the agent's environment. Attempts to model both players and the environment as Turing machines, for example, fail for standard diagonalization reasons. In this paper, we introduce a "reflective" type of oracle, which is able to answer questions about the outputs of oracle machines with access to the same oracle. These oracles avoid diagonalization by answering some queries randomly. We show that machines with access to a reflective oracle can be used to define rational agents using causal decision theory. These agents model their environment as a probabilistic oracle machine, which may contain other agents as a non-distinguished part. We show that if such agents interact, they will play a Nash equilibrium, with the randomization in mixed strategies coming from the randomization in the oracle's answers. This can be seen as providing a foundation for classical game theory in which players aren't special.

研究の動機と目的

• プレイヤーが他のいかなる物理的系とも本質的に区別されないにもかかわらず、古典的ゲーム理論においてはそれらが根本的に環境とは異なるものとして扱われるという基礎的問題を解決すること。
• エージェントをチューリングマシンとしてモデル化する際に生じる対角化問題を扱うこと。
• エージェントが環境に埋め込まれており、他のエージェントをその環境の一部として推論できるような、ゲーム理論の意思決定理論的基盤を構築すること。
• 反映的オラクルを使用するエージェントが因果的意思決定理論を実装し、マルチプレイヤーゲームにおいてナッシュ均衡に収束することを示すこと。
• 埋め込みエージェントにおける無限の合理性を支持する形式的枠組みを提供し、現実世界のシステムにおける有界合理性の役割を明確にすること。

提案手法

• 同じオラクルにアクセスするオラクルマシンの出力に関する質問に確率的応答を用いて応えることができる反映的オラクルを導入し、対角化を回避する。
• オラクルの応答確率がマシン出力の実際の確率と一致するような反射原理を定義し、一貫性を保証する。
• エージェントを反射的オラクルにアクセスするチューリングマシンとしてモデル化し、期待効用に基づいて行動を選択する因果的意思決定理論を用いる。
• エージェントが相手を確率的環境の一部として扱う形式的枠組みを構築し、矛盾のない自己言及的推論を可能にする。
• 非停止マシンに対しても適用可能な強化された反射原理を満たす反射的オラクルの存在を証明する。
• 複数のエージェントが反射的オラクルを使用する場合、オラクルのランダムネスのおかげで、それらの行動がナッシュ均衡に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 エージェントが環境の他の部分と区別されないような、ゲーム理論の意思決定理論的基盤を構築することは可能か？
• RQ2 エージェントが共有環境内に存在する計算可能プロセスとして、お互いの行動を推論する方法は何か？ また、対角化パラドックスを回避するにはどうすればよいか？
• RQ3 反映的オラクルは、安定なゲーム理論的結果をもたらすような方法で、因果的意思決定理論を実装できるか？
• RQ4 マルチプレイヤーゲームにおける反映的オラクルとナッシュ均衡の関係は何か？
• RQ5 この枠組みは、非停止計算やソロモンフ・インダクションのような非計算可能事前分布を扱うように拡張可能か？

主な発見

• 反映的オラクルを使用するエージェントは因果的意思決定理論を実装し、確率的環境において期待効用に基づいて意思決定を行う。
• オラクルの応答におけるランダムネスのおかげで、エージェントの行動に混合戦略が現れ、その確率はナッシュ均衡におけるものと一致する。
• 複数のエージェントが反映的オラクルを用いて相互作用する場合、それらの共同行動はナッシュ均衡を形成し、任意のナッシュ均衡はあるオラクル設定によって実現可能である。
• 反映的オラクルは存在し、非停止マシンに対しても適用可能な強化された反射原理を満たしており、確率的推論の一貫性を保証する。
• この枠組みは、自身が埋め込まれている環境を推論する予測者をモデル化でき、非計算可能設定において自己言及的推論を可能にする。
• 原則的に、ソロモンフ・インダクションの反射的オラクル版が可能であり、オラクルマシンを含む仮説の予測が可能になる。