[논문 리뷰] A Predictive Theory of Games

David H. Wolpert|ArXiv.org|2005. 12. 08.

Game Theory and Applications참고 문헌 71인용 수 3

한 줄 요약

이 논문은 예측 게임 이론(Predictive Game Theory, PGT)을 소개한다. PGT는 게임에서 연합 전략을 예측하기 위해 균형 개념을 베이지안-확률적 접근으로 대체하는 기본 원리 기반 프레임워크이다. 정보 이론적 사전 분포와 의사결정 이론을 사용하여 연합 전략에 대한 분포를 유도하며, 이는 나시 균형이 반드시 예측 가능하지 않음을 보여주고, 양자 응답 균형(Quantal Response Equilibria)이 이 분포의 최빈값에 대한 근사로 나타나며, 엔트로피 최대화를 통해 보정 항이 유도됨을 보여준다.

ABSTRACT

Conventional noncooperative game theory hypothesizes that the joint strategy of a set of players in a game must satisfy an "equilibrium concept". All other joint strategies are considered impossible; the only issue is what equilibrium concept is "correct". This hypothesis violates the desiderata underlying probability theory. Indeed, probability theory renders moot the problem of what equilibrium concept is correct - every joint strategy can arise with non-zero probability. Rather than a first-principles derivation of an equilibrium concept, game theory requires a first-principles derivation of a distribution over joint (mixed) strategies. This paper shows how information theory can provide such a distribution over joint strategies. If a scientist external to the game wants to distill such a distribution to a point prediction, that prediction should be set by decision theory, using their (!) loss function. So the predicted joint strategy - the "equilibrium concept" - varies with the external scientist's loss function. It is shown here that in many games, having a probability distribution with support restricted to Nash equilibria - as stipulated by conventional game theory - is impossible. It is also show how to: i) Derive an information-theoretic quantification of a player's degree of rationality; ii) Derive bounded rationality as a cost of computation; iii) Elaborate the close formal relationship between game theory and statistical physics; iv) Use this relationship to extend game theory to allow stochastically varying numbers of players.

연구 동기 및 목표

• 균형 개념을 유일한 타당한 결과로 간주하는 전통적인 게임 이론적 접근 방식에 도전하기 위해.
• 균형 기반 모델이 확률 이론의 기본 공리와 일관성이 없음을 다루기 위해.
• 정보 이론을 사용하여 연합 전략에 대한 분포를 유도하는 기본 원리 기반 방법을 개발하기 위해.
• 나시 균형이 합리성의 극한을 통해 항상 접근 가능한 것이 아니며, 이를 제한하는 것이 종종 수학적으로 불가능하다는 것을 보여주기 위해.
• 통계역학의 유사성에 기반하여 플레이어 행동의 합리성에 대한 모델 독립적 정량화를 제공하기 위해.

제안 방법

• 게임의 구조와 사전 정보를 바탕으로 연합 혼합 전략에 대한 사후 분포를 유도하기 위해 베이지안 추론을 사용한다.
• 기대 수익에 대한 제약 조건을 적용하여 최대 엔트로피(MaxEnt) 원리를 사용하여 전략에 대한 분포를 도출한다.
• 플레이어 행동을 볼츠만 분포로 모델링하여 통계역학 프레임워크 내에서 합리성과 역온도 β를 연결한다.
• 정보 이론적 분포의 최빈값 주변에서의 고차항 전개를 통해 QRE(양자 응답 균형)에 대한 보정 항을 도출한다.
• 손실 함수를 기반으로 의사결정 이론을 사용하여 베이즈 최적의 예측을 선택함으로써 균형 개념의 필요성을 제거한다.
• 통계역학의 열역학적 계열 유사성에 따라 플레이어 수의 확률적 변동을 모델링하여 게임 이론을 확률적 플레이어 수로 확장한다.

실험 결과

연구 질문

• RQ1 왜 전통적인 균형 개념에 대한 의존성은 확률 이론의 기본 공리와 일관성이 없나요?
• RQ2 게임 이론에서 기본 원리로부터 어떻게 연합 전략에 대한 분포를 도출할 수 있나요?
• RQ3 양자 응답 균형(QRE)과 유도된 전략 분포의 최빈값 사이의 형식적 관계는 무엇인가요?
• RQ4 모든 나시 균형이 점점 더 합리적인 QRE 전략의 수열의 극한으로 접근 가능한가요? 만약 그렇지 않다면 그 이유는 무엇인가요?
• RQ5 정보 이론적 측정을 사용하여 특정 모델에 종속되지 않고 플레이어 행동의 합리성을 어떻게 정량화할 수 있나요?

주요 결과

• 유도된 분포 하에서 비영확률을 가지는 연합 전략의 집합은 양의 측도를 가지며, 이는 균형 개념의 영측도 가정과 정면으로 배치된다.
• 나시 균형은 항상 점점 더 합리적인 QRE 전략의 수열을 통해 접근 가능한 것은 아니며, 많은 게임에서 분포의 지지 집합을 나시 균형으로 제한하는 것은 수학적으로 불가능하다.
• 양자 응답 균형(QRE)은 정보 이론적 분포의 최빈값에 대한 근사로 나타나며, 고차항 전개로부터 도출된 보정 항이 존재한다.
• 모든 나시 균형은 최빈값이 아니어도 비영확률을 가지는 연합 전략의 극한으로 접근 가능하지만, 반드시 그렇지는 않다.
• 이 프레임워크는 기대 수익 제약 조건 하에서 엔트로피 최대화로부터 자연스럽게 유도되는 역온도 파rameter β를 통해 모델 독립적 합리성 정량화를 제공한다.
• 확률적 플레이어 수로의 확장은 진화 게임 이론의 복제 역학에 보정을 가하게 되며, 통계역학의 유사성에 따라 인구 수의 변동으로 해석된다.