[논문 리뷰] Risk-Averse Equilibrium for Games

Ali Yekkehkhany, Timothy Murray외 1명|arXiv (Cornell University)|2020. 02. 19.

Decision-Making and Behavioral Economics참고 문헌 14인용 수 8

한 줄 요약

이 논문은 한 번만 또는 유한한 시간 간격 동안 진행되는 확률적 게임에서, 평균 기대 효용이 아닌 단일 실현에서 최고의 보상 확보 확률을 최대화하는 데 초점을 맞춘 위험 회피 균형(RAE)을 제안한다. 이는 모든 유한한 게임에서 RAE가 존재함을 증명하고, 다양한 게임 매개변수에서 시뮬레이션을 통해 RAE가 나시 균형보다 단일 라운드 보상 확률에서 뛰어난 성능을 보임을 보여준다.

ABSTRACT

The term rational has become synonymous with maximizing expected payoff in the definition of the best response in Nash setting. In this work, we consider stochastic games in which players engage only once, or at most a limited number of times. In such games, it may not be rational for players to maximize their expected payoff as they cannot wait for the Law of Large Numbers to take effect. We instead define a new notion of a risk-averse best response, that results in a risk-averse equilibrium (RAE) in which players choose to play the strategy that maximizes the probability of them being rewarded the most in a single round of the game rather than maximizing the expected received reward, subject to the actions of other players. We prove the risk-averse equilibrium to exist in all finite games and numerically compare its performance to Nash equilibrium in finite-time stochastic games.

연구 동기 및 목표

• 플레이어가 대량의 수렴 법칙을 기반으로 할 수 없는 한 번만 또는 제한된 시간 동안 진행되는 게임에서 기대 효용 최적화의 한계를 해결하기 위해.
• 플레이어가 평균 성능보다는 높은 영향을 미치는 결과를 우선시하는 위험 회피 설정에서의 전략적 행동을 모델링하기 위해.
• 단일 게임 라운드에서 최고의 보상을 달성할 확률을 최대화하는 새로운 균형 개념인 위험 회피 균형(RAE)을 체계화하기 위해.
• 나시 균형과 독립적으로 모든 유한한 N인용 확률적 게임에서 RAE의 이론적 존재성을 확립하기 위해.
• 수치 시뮬레이션을 통해 유한 시간 동안 진행되는 확률적 게임에서 RAE의 성능을 나시 균형과 비교하기 위해.

제안 방법

• 상대방의 전략이 주어졌을 때, 단일 실현에서 최고의 보상을 달성할 확률을 최대화하는 전략을 위험 회피 최적 반응으로 정의한다.
• 모든 플레이어가 동시에 자신의 위험 회피 최적 반응을 선택하는 해법 개념으로 RAE를 설정한다.
• RAE 계산을 변환된 게임 공간에서의 나시 균형 문제로 매핑하기 위해 확률 텐서 표현을 도입한다.
• 우도론적 지배나 기대 효용 개념과 독립적으로 고정점 추론을 사용하여 모든 유한한 N인용 확률적 게임에서 RAE의 존재성을 증명한다.
• 플레이어가 M라운드 동안 전략을 약속하는 M-시간 약속 게임을 분석하고, RAE를 제한된 시간 설정으로 확장한다.
• 매개변수 게임에서 RAE와 나시 균형의 보상을 비교하기 위해 대규모 시뮬레이션(10^6라운드)을 수행하여 상대적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기대 효용 최적화가 비효율적인 한 번만 또는 유한한 시간 간격 동안 진행되는 확률적 게임에서 위험 회피 균형 개념을 정의할 수 있는가?
• RQ2 단일 라운드 보상 성능 측면에서 위험 회피 균형은 나시 균형과 어떻게 비교되는가?
• RQ3 모든 유한한 N인용 확률적 게임에서 위험 회피 균형이 존재하는가, 그리고 만약 존재한다면 어떤 조건에서 존재하는가?
• RQ4 시장 진입이나 정치적 선거와 같은 고위험·제한된 기회 상황에서 RAE는 실제 전략적 행동을 어느 정도 잘 반영하는가?
• RQ5 RAE는 효율적으로 계산될 수 있으며, 변환된 게임 공간에서 나시 균형과 동치로 표현될 수 있는가?

주요 결과

• 모든 유한한 N인용 확률적 게임에서 위험 회피 균형(RAE)이 존재하며, 이는 나시 균형의 존재성이나 지배 개념과 독립적이다.
• 매개변수 a를 가진 매개변수 게임에서 RAE는 항상 나시 균형보다 단일 라운드 보상 확률 측면에서 뛰어나며, 특히 a > 3.333일 경우 두드러진다.
• a > 3.333일 경우, RAE가 나시 균형보다 더 높은 보상을 제공할 확률이 모든 시뮬레이션 라운드에서 50%를 초과하며, a가 증가할수록 이 우위가 커진다.
• 순수 위험 회피 균형 (U,R)과 (D,L)는 항상 매개변수 a의 값과 관계없이 존재하지만, 순수 나시 균형은 a에 따라 달라지며 a > 6일 때에만 존재한다.
• 혼합 전략 RAE와 혼합 전략 나시 균형 모두 매개변수 a에 따라 달라지지만, RAE 전략 프로파일은 50% 이상의 시뮬레이션에서 더 높은 단일 라운드 보상 확률을 제공한다.
• 확률 텐서 표현은 RAE와 나시 균형 간의 등가성을 보장하며, 이는 RAE를 표준 균형 해법 기법을 사용하여 계산할 수 있음을 가능하게 한다.