[논문 리뷰] Reflective Oracles: A Foundation for Classical Game Theory

Benja Fallenstein, Jessica Taylor외 1명|arXiv (Cornell University)|2015. 08. 17.

Computability, Logic, AI Algorithms참고 문헌 2인용 수 3

한 줄 요약

이 논문은 반사적 오라클—동일한 오라클에 액세스하는 오라클 기반 기계의 행동에 관해 질의에 답할 수 있는 확률적 오라클—을 소개한다. 이는 다른 에이전트가 비차별적인 구성 요소로 통합된 환경에서 튜링 기계가 완벽한 베이지안 추론을 수행할 수 있도록 한다. 주요 결과는 반사적 오라클을 사용하는 에이전트가 거의 확실하게 내쉬 균형을 이룬다는 것으로, 혼합 전략의 확률은 오라클의 내재된 랜덤성에서 유래하며, 이는 플레이어를 본질적으로 특별시킬 필요 없이 고전적 게임 이론의 기초를 제공한다.

ABSTRACT

Classical game theory treats players as special---a description of a game contains a full, explicit enumeration of all players---even though in the real world, "players" are no more fundamentally special than rocks or clouds. It isn't trivial to find a decision-theoretic foundation for game theory in which an agent's coplayers are a non-distinguished part of the agent's environment. Attempts to model both players and the environment as Turing machines, for example, fail for standard diagonalization reasons. In this paper, we introduce a "reflective" type of oracle, which is able to answer questions about the outputs of oracle machines with access to the same oracle. These oracles avoid diagonalization by answering some queries randomly. We show that machines with access to a reflective oracle can be used to define rational agents using causal decision theory. These agents model their environment as a probabilistic oracle machine, which may contain other agents as a non-distinguished part. We show that if such agents interact, they will play a Nash equilibrium, with the randomization in mixed strategies coming from the randomization in the oracle's answers. This can be seen as providing a foundation for classical game theory in which players aren't special.

연구 동기 및 목표

• 고전적 게임 이론에서 플레이어가 환경과 본질적으로 다를 뿐만 아니라, 다른 어떤 물리적 시스템과도 다름없는 점을 해결하기 위해.
• 에이전트를 튜링 기계로 모델링할 때 발생하는 대각선화 문제를 다루기 위해.
• 에이전트가 환경에 통합되어 있으며, 다른 에이전트를 그 환경의 일부로 추론할 수 있는 의사결정 이론적 기초를 마련하기 위해.
• 반사적 오라클을 사용하는 에이전트가 인과적 의사결정 이론을 구현하고 다자간 게임에서 내쉬 균형으로 수렴함을 보여주기 위해.
• 통합된 에이전트에서 무한한 이성성을 지원하는 형식적 체계를 제공하고, 현실 세계의 시스템에서 유한한 이성의 역할을 명확히 하기 위해.

제안 방법

• 동일한 오라클에 액세스하는 오라클 기반 기계의 출력에 관해 질의에 답하는 반사적 오라클을 도입하며, 대각선화를 피하기 위해 확률적 응답을 사용한다.
• 오라클의 응답 확률이 기계의 출력 실제 확률과 일치하는 반사 원칙을 정의하여 일관성을 확보한다.
• 에이전트를 반사적 오라클에 액세스하는 튜링 기계로 모델링하고, 기대 효용을 기반으로 행동을 선택하기 위해 인과적 의사결정 이론을 사용한다.
• 에이전트가 상대방을 확률적 환경의 일부로 간주하여 자기 참조적 추론을 수행할 수 있는 형식적 프레임워크를 구축한다. 이는 모순 없이 가능하다.
• 정지하지 않는 기계에도 적용 가능한 강화된 반사 원칙을 만족하는 반사적 오라클의 존재를 증명한다.
• 여러 에이전트가 반사적 오라클을 사용할 경우, 오라클의 랜덤화로 인해 그들의 행동이 내쉬 균형으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 에이전트가 환경의 나머지 부분과 본질적으로 다를 바 없이, 게임 이론의 의사결정 이론적 기초를 구축할 수 있는가?
• RQ2 에이전트가 공유된 환경 내에서 계산 가능한 과정으로서 상호 행동을 추론할 수 있는가? 이 경우 대각선화 역설을 피할 수 있는가?
• RQ3 반사적 오라클을 통해 에이전트가 인과적 의사결정 이론을 구현하고 안정적인 게임 이론적 결과를 도출할 수 있는가?
• RQ4 다자간 게임에서 반사적 오라클과 내쉬 균형 사이의 관계는 무엇인가?
• RQ5 이 프레임워크는 정지하지 않는 계산과 소โล몬호프 인도션과 같은 비계산 가능한 사전을 다룰 수 있도록 확장될 수 있는가?

주요 결과

• 반사적 오라클을 사용하는 에이전트는 확률적 환경에서 기대 효용을 기반으로 결정을 내리며, 인과적 의사결정 이론을 구현한다.
• 오라클 응답의 랜덤화로 인해 에이전트의 행동에서 혼합 전략이 발생하며, 그 확률은 내쉬 균형의 확률과 일치한다.
• 여러 에이전트가 반사적 오라클을 사용할 경우, 그들의 공동 행동은 내쉬 균형을 형성하며, 모든 내쉬 균형은 어떤 오라클 구성으로도 실현 가능하다.
• 반사적 오라클는 존재하며, 정지하지 않는 기계에도 적용 가능한 강화된 반사 원칙을 만족하여 확률적 추론의 일관성을 보장한다.
• 이 프레임워크는 환경에 통합된 자기 자신을 추론하는 예측기 모델링을 지원하며, 비계산 가능한 설정에서 자기 참조적 추론을 가능하게 한다.
• 원칙적으로 반사적 오라클 기반의 소로몬호프 인도션은 가능하며, 오라클 기반 기계를 포함한 가설에 대한 예측이 가능하다.