[논문 리뷰] Robust Cooperation in the Prisoner's Dilemma: Program Equilibrium via Provability Logic

Mihály Bárász, Paul F. Christiano외 4명|arXiv (Cornell University)|2014. 01. 22.

Game Theory and Applications참고 문헌 18인용 수 17

한 줄 요약

이 논문은 한 번의 게임에서의 협력적 결과를 달성하기 위해 증명 가능성 논리(logic of provability)를 사용하여 상대방의 소스 코드를 분석하는 모달 에이전트를 제안한다. PrudentBot과 같은 에이전트는 상호 협력이 논리적으로 일관된 경우에만 협력하도록 설계되어 있으며, 이는 소스 코드의 문법적 차이가 있더라도 불가침성(unexploitability)과 강건성(robustness)을 보장한다. Löb의 정리(Löb's Theorem)를 통해 반사적 조건에서 안정적인 고정점 추론이 가능해진다.

ABSTRACT

We consider the one-shot Prisoner's Dilemma between algorithms with read-access to one anothers' source codes, and we use the modal logic of provability to build agents that can achieve mutual cooperation in a manner that is robust, in that cooperation does not require exact equality of the agents' source code, and unexploitable, meaning that such an agent never cooperates when its opponent defects. We construct a general framework for such "modal agents", and study their properties.

연구 동기 및 목표

• 정확한 소스 코드 일치가 필요 없이 한 번의 게임에서 협력하는 에이전트를 개발하는 것.
• 불가침성(unexploitability)을 확보하여, 상대가 배신할 경우에 에이전트가 결코 협력하지 않도록 하는 것.
• 형식적 일치가 아닌 증명 가능성에 기반한 논리적 추론을 통해 상호 협력을 달성하는 에이전트를 설계하는 것.
• 모달 논리를 사용하여 프로그램 균형(program equilibrium)을 형식화하고, 게임 이론적 맥락에서 안정적인 반사적 추론(counterfactual reasoning)을 가능하게 하는 프레임워크를 제시하는 것.

제안 방법

• 협력 가능성의 증명 가능성에 대해 에이전트의 추론을 형식화하기 위해 Gödel-Löb 모달 논리(GL)를 사용한다.
• 예를 들어, 시스템이 상대가 협력할 것임을 증명할 경우에만 협력하는 조건을 기반으로 FairBot과 PrudentBot과 같은 에이전트를 정의한다.
• Löb의 정리를 적용하여 고정점 일관성을 확보한다: 만약 시스템이 협력이 상호 협력으로 이어진다는 것을 증명한다면, 실제로 협력이 발생한다.
• 에이전트가 상대의 소스 코드를 논리 공식을 통해 추론함으로써 무한한 반복을 피하는 증명 가능성 검사를 통해 추론한다.
• 퀴닝(quining)과 자기참조(self-reference) 기법을 사용하여 논리 조건을 에이전트 행동에 통합한다.
• 에이전트의 행동이 상대의 행동을 포함한 논리 공식의 증명 가능성에 의해 결정되는 일반적인 모달 에이전트 프레임워크를 수립한다.

실험 결과

연구 질문

• RQ1 소스 코드의 문법적 일치가 필요 없이, 한 번의 게임에서 강건한 협력을 달성할 수 있는 에이전트를 설계할 수 있는가?
• RQ2 상대가 배신할 경우에 에이전트가 결코 협력하지 않도록 보장할 수 있는가? 즉, 불가침성을 달성할 수 있는가?
• RQ3 증명 가능성 논리는 프로그램 균형에서 반사적 추론을 위한 안정적인 기초를 제공할 수 있는가?
• RQ4 에이전트들이 의미적으로 다를 수 있지만 논리적으로 일관된 경우, 어떤 논리적 조건이 상호 협력을 가능하게 하는가?
• RQ5 모달 에이전트는 한 번의 게임에서의 협력 외에 더 복잡한 게임으로 어떻게 확장될 수 있는가?

주요 결과

• PrudentBot은 FairBot과 CooperateBot과의 협력에서 상호 협력을 달성하면서도, 상대가 배신하지 않을 것임을 증명할 수 있을 때만 협력하므로 불가침성을 유지한다.
• 증명 가능성 논리를 사용함으로써 반사적 추론에서 안정적인 고정점(fixed points)을 확보할 수 있었으며, 상호 시뮬레이션에서의 무한한 반복을 피할 수 있었다.
• Löb의 정리는, 만약 시스템이 협력이 상호 협력으로 이어진다는 것을 증명한다면 실제로 협력이 발생한다는 것을 보장하므로 논리적 일관성을 제공한다.
• 모달 에이전트는 문법적으로 다를 수 있지만 논리적으로 일관된 에이전트의 광범위한 집단과 협력할 수 있도록 구성될 수 있으며, 반드시 문법적으로 동일한 에이전트일 필요는 없다.
• 에이전트가 상대의 소스 코드에 접근할 수 있는 경우에도, 논리적 일관성이 유지된다면 강건한 협력이 가능하다.
• 이 접근은 증명 기반 추론 하에서 불가침하고 강건한 협력이 한 번의 게임에서도 논리적으로 가능하다는 것을 보여준다.