[논문 리뷰] Parametric Bounded Löb's Theorem and Robust Cooperation of Bounded Agents

Andrew Critch|arXiv (Cornell University)|2016. 02. 12.

Game Theory and Applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 자원이 제한된 에이전트가 서로의 소스 코드를 분석하는 데 적용 가능한 매개변수화되고 유계된 Löb의 정리의 버전을 제안한다. 이는 FairBot_k와 같은 에이전트가 서로 협력할 수 있도록 하며, 정확한 동일성 검사를 통해가 아니라 유계 길이 내의 증명 탐색을 통해 이루어지므로, 고전적 내시 균형보다 뛰어난 강건한 프로그램 균형을 이끌어낸다.

ABSTRACT

Löb's theorem and Gödel's theorems make predictions about the behavior of systems capable of self-reference with unbounded computational resources with which to write and evaluate proofs. However, in the real world, systems capable of self-reference will have limited memory and processing speed, so in this paper we introduce an effective version of Löb's theorem which is applicable given such bounded resources. These results have powerful implications for the game theory of bounded agents who are able to write proofs about themselves and one another, including the capacity to out-perform classical Nash equilibria and correlated equilibria, attaining mutually cooperative program equilibrium in the Prisoner's Dilemma. Previous cooperative program equilibria studied by Tennenholtz (2004) and Fortnow (2009) have depended on tests for program equality, a fragile condition, whereas "Löbian" cooperation is much more robust and agnostic of the opponent's implementation.

연구 동기 및 목표

• 유한한 계산 자원을 가진 에이전트에 적용 가능한, 효과적이고 유계된 Löb의 정리의 버전을 개발하기 위해.
• 서로의 소스 코드를 검사할 수 있는 에이전트 간의 게임 이론적 상황에서 강건한 협력을 가능하게 하기 위해.
• 이전의 협력 프로그램 균형이 정확한 프로그램 동일성에 의존하는 취약성을 극복하기 위해.
• 에이전트가 유계된 증명 탐색을 사용할 경우, 한 번의 게임에서도 상호 협력이 어떻게 발생할 수 있는지 보여주기 위해.
• 투명성과 유계 추론 하에서 협력이 논리적으로 타당하고 전략적으로 최적일 수 있음을 보여줌으로써 고전적 게임 이론적 통찰을 도전하기 위해.

제안 방법

• 증명 길이 ≤k가 되는 조건에서 상대가 협력할 것임을 증명하는 탐색을 수행하는 FairBot_k를 도입한다.
• 계산 자원 제한을 모델링하기 위해 증명 길이에 대한 매개변수화된 유계 k를 사용한다.
• 유계된 Löb의 정리를 적용하여, k 기호 이내에 증명이 존재한다면 에이전트가 협력할 것임을 보여준다.
• k가 충분히 크면 상호 협력에 대한 증명을 유도할 수 있음을 분석함으로써 FairBot_k 간의 상호 협력을 분석한다.
• 어느 한 에이전트도 먼저 행동하지 않더라도, 유계 추론 하에서 (C,C) 결과가 논리적으로 타당하고 안정적임을 보여준다.
• 투명한 에이전트 환경에서의 의사결정을 재구성하여, 인과적 결정 이론이 가정하는 인과적 독립성보다 논리적 의존성이 우선시됨을 보여준다.

실험 결과

연구 질문

• RQ1 유한한 메모리와 처리 속도를 가진 에이전트에 적용 가능한 Löb의 정리의 유계 버전을 어떻게 제작할 수 있는가?
• RQ2 어떤 조건에서 두 유계 에이전트가 증명 탐색을 통해 포로의 딜레마에서 상호 협력을 달성할 수 있는가?
• RQ3 유계 증명 탐색이 소스 코드의 경미한 변경에 강건한 안정적 협력 균형을 어떻게 만들어내는가?
• RQ4 에이전트의 의사결정 간 논리적 의존성이 전략적 의사결정에서 인과적 독립성을 초월할 수 있는가?
• RQ5 이러한 협력이 자가참조 및 상호 추론 능력을 갖춘 고급 AI 시스템 설계에 미치는 영향은 무엇인가?

주요 결과

• k가 상호 협력에 대한 증명을 담을 수 있을 정도로 충분히 크면, FairBot_k는 자신과의 상호 협력을 달성한다. 이는 어느 한 에이전트도 협력의 시작을 알리지 않더라도 가능하다.
• 매개변수화된 Löb의 정리에 의해, (C,C) 결과가 유계 추론 하에서 논리적으로 타당하고 안정적임을 보여준다.
• 협력은 정확한 프로그램 동일성 검사를 통해가 아니라, 상호 행동에 대한 공통된 논리적 추론을 통해 발생하므로, 소스 코드의 경미한 구현 차이에 강건하다.
• 이 결과는 한 번의 게임에서도 고전적 내시 균형과 관련 균형을 능가하는 협력 프로그램 균형을 달성할 수 있음을 암시한다.
• 증명 탐색은 인과적 영향이 없더라도 협력을 가능하게 하는 논리적 메커니즘으로 작용하며, 인과적 결정 이론의 가정에 도전한다.
• 유계 Löb의 정리는 자가참조적이고 투명한 시스템에서 자원이 제한된 조건에서 협력적 에이전트를 설계하기 위한 공식적 기반을 제공한다.