[論文レビュー] Parametric Bounded Löb's Theorem and Robust Cooperation of Bounded Agents

Andrew Critch|arXiv (Cornell University)|Feb 12, 2016

Game Theory and Applications参考文献 10被引用数 3

ひとこと要約

この論文は、相互のソースコードを分析できるリソース制限付きエージェントに適用可能な、パラメトリックで有界なロブの定理の変種を導入する。エージェントが相互に協力するメカニズムを、脆い等価性チェックではなく、有界長さ内の証明探索によって実現することで、古典的ナッシュ均衡を上回る頑健なプログラム均衡を達成できることを示している。

ABSTRACT

Löb's theorem and Gödel's theorems make predictions about the behavior of systems capable of self-reference with unbounded computational resources with which to write and evaluate proofs. However, in the real world, systems capable of self-reference will have limited memory and processing speed, so in this paper we introduce an effective version of Löb's theorem which is applicable given such bounded resources. These results have powerful implications for the game theory of bounded agents who are able to write proofs about themselves and one another, including the capacity to out-perform classical Nash equilibria and correlated equilibria, attaining mutually cooperative program equilibrium in the Prisoner's Dilemma. Previous cooperative program equilibria studied by Tennenholtz (2004) and Fortnow (2009) have depended on tests for program equality, a fragile condition, whereas "Löbian" cooperation is much more robust and agnostic of the opponent's implementation.

研究の動機と目的

• 計算リソースが限られたエージェントに適用可能な、有界で実効的なロブの定理のバージョンを開発すること。
• ソースコードを相互に観察できるエージェント間で、ゲーム理論的状況における頑健な協力を可能にすること。
• 過去の協力的プログラム均衡が正確なプログラム等価性に依存するという脆さを克服すること。
• エージェントが有界な証明探索を用いる場合、1回限りのゲームでも相互協力が出現しうることを示すこと。
• 透明性と有界な推論の下で協力が論理的に整合的かつ戦略的に最適であることを示し、古典的ゲーム理論的直観に挑戦すること。

提案手法

• 証明長が ≤k である相手の協力の証明を探索するエージェント FairBot_k を導入する。
• 計算リソース制限をモデル化するため、証明長にパラメトリックな上限 k を導入する。
• 有界なロブの定理を適用し、k 文字以内に証明が存在する場合、エージェントが協力することを示す。
• k が十分に大きい場合に、FairBot_k エージェント同士の相互協力の証明が導けることにより、相互協力を分析する。
• k が有界な推論のもとで (C,C) の結果が論理的に整合的で安定していることを示し、どのエージェントも先に行動しないことにもかかわらず成立している。
• 透明なエージェント環境における意思決定を再定式化し、論理的依存性が因果的独立性を上回ることを示し、因果的意思決定理論に挑戦する。

実験結果

リサーチクエスチョン

• RQ1 有限のメモリと処理速度を持つエージェントに適用可能な、ロブの定理の有界版を定式化できるか？
• RQ2 どのような条件下で、2つの有界エージェントが証明探索を通じて囚人のジレンマで相互協力に到達できるか？
• RQ3 有界な証明探索が、わずかなコード変更に強く耐性を持つ安定した協力的均衡をどのように生み出すか？
• RQ4 エージェントの意思決定の間の論理的依存性が、戦略的意思決定における因果的独立性を上回るのか？
• RQ5 このような協力が、自己参照と相互推論が可能な高度なAIシステムの設計にどのような意味を持つのか？

主な発見

• FairBot_k は、k が相互協力の証明を含めるのに十分に大きい場合、自分自身と相互に協力する。これは、どのエージェントも協力を先に開始しないにもかかわらず成立する。
• パラメトリックなロブの定理により、k が有界な推論のもとで (C,C) の結果が論理的に整合的で安定していることが示された。
• 協力はプログラムの等価性チェックではなく、相互行動に関する共通の論理的推論から生じるため、実装上のわずかな差異に対しても頑健である。
• この結果は、1回限りのゲームにおいて、古典的ナッシュ均衡や相関均衡を上回る協力的プログラム均衡を達成できることを示唆している。
• 証明探索は、因果的影響が存在しない状況でも協力を可能にする論理的メカニズムとして機能し、因果的意思決定理論の仮定に挑戦する。
• 有界なロブの定理は、リソース制限付きで自己参照可能な透明なシステムにおける協力的エージェントの設計に、形式的基盤を提供する。