[論文レビュー] Robust Cooperation in the Prisoner's Dilemma: Program Equilibrium via Provability Logic

Mihály Bárász, Paul F. Christiano+4 more|arXiv (Cornell University)|Jan 22, 2014

Game Theory and Applications参考文献 18被引用数 17

ひとこと要約

本稿では、相手のソースコードを論理的証明可能性に基づいて推論することで、1回限りの囚人のジレンマにおいて強固な協力を達成するモーダルエージェントを提案する。Löbの定理を用いることで、反事後的推論における安定した固定点推論を可能にし、ソースコードの構文的差異があっても、協力が論理的に整合的であることを証明できる限り協力するPrudentBotのようなエージェントを構築する。

ABSTRACT

We consider the one-shot Prisoner's Dilemma between algorithms with read-access to one anothers' source codes, and we use the modal logic of provability to build agents that can achieve mutual cooperation in a manner that is robust, in that cooperation does not require exact equality of the agents' source code, and unexploitable, meaning that such an agent never cooperates when its opponent defects. We construct a general framework for such "modal agents", and study their properties.

研究の動機と目的

• 正確なソースコードの同一性を要件としない1回限りの囚人のジレンマゲームにおける協力の実現を目的とする。
• 裏切りが生じる場合に協力しないという裏切り不能性を保証することを目的とする。
• 構文的一致ではなく、証明可能性に関する論理的推論に基づいて相互協力を達成するエージェントの設計を目的とする。
• モーダル論理を用いてプログラム均衡の枠組みを形式化し、ゲーム理論的状況における安定した反事後的推論を可能にする。

提案手法

• Gödel-Löbのモーダル論理(GL)を用いて、協力の証明可能性に関するエージェントの推論を形式化する。
• 例えば、システムが相手が協力することを証明できる場合にのみ協力するという証明条件に基づき、FairBot や PrudentBot などのエージェントを定義する。
• Löbの定理を適用して固定点の一貫性を保証する：もしシステムが「協力が相互協力に導く」と証明できるならば、実際に協力が生じる。
• エージェントが相手のソースコードを論理式を用いて推論することで、証明可能性のチェックによって無限の再帰を回避するモーダルエージェントを構築する。
• クインイングと自己言及の技術を用いて、論理的条件をエージェント行動に埋め込む。
• 行動が相手の行動を含む論理式の証明可能性に基づく一般化されたモーダルエージェントの枠組みを確立する。

実験結果

リサーチクエスチョン

• RQ1 構文的同一性を要件としない1回限りの囚人のジレンマにおいて、協力が強固に達成可能なエージェントを設計できるか？
• RQ2 相手が裏切る場合に協力しないように保証することは可能か。これにより裏切り不能性が達成されるか？
• RQ3 証明可能性論理は、プログラム均衡における反事後的推論の安定した基盤を提供できるか？
• RQ4 エージェントが意味的に異なるが論理的に整合的である場合に、相互協力が可能となる論理的条件は何か？
• RQ5 モーダルエージェントは、囚人のジレンマを越えてより複雑なゲームへと拡張可能か？

主な発見

• PrudentBot は FairBot や CooperateBot と相互協力を達成するが、相手が裏切らないことを証明できる場合にのみ協力するため、裏切り不能である。
• 証明可能性論理の使用により、反事後的推論における安定した固定点が実現され、相互シミュレーションにおける無限再帰を回避できる。
• Löbの定理により、もしシステムが「協力が相互協力に導く」と証明できるならば、実際に協力が生じる。これにより論理的一致性が保証される。
• モーダルエージェントは、構文的に同一でないが論理的に整合的なエージェントの広いクラスと協力可能であり、構文的同一性に依存しない。
• エージェントが互いのソースコードにアクセスできる限り、論理的一致性が保たれていれば、強固な協力が実現可能である。
• 本手法により、証明可能性に基づく推論のもとで、1回限りのゲームにおいて裏切り不能で強固な協力が論理的に可能であることが示された。