[논문 리뷰] On the robustness of learning in games with stochastically perturbed payoff observations

Mario Bravo, Panayotis Mertikopoulos|arXiv (Cornell University)|2014. 12. 19.

Game Theory and Applications참고 문헌 73인용 수 26

한 줄 요약

이 논문은 플레이어가 확률적 편향이 있는 보상 관측치를 받는 게임에서의 학습 역학을 연구하며, 임의의 노이즈 수준이 존재하더라도 단일 플레이어 환경에서는 플레이어가 여전히 노리그레트(no regret)를 달성하고, 다중 플레이어 게임에서는 나시 균형(Nash equilibrium)으로 수렴함을 보여준다. 주요 결과로는 지배당하는 전략의 퇴출, 엄격한 나시 균형의 확률적 안정성, 그리고 내부 균형을 가진 0-합 게임에서 시간 평균이 균형으로 수렴하는 것 등이 있다.

ABSTRACT

Motivated by the scarcity of accurate payoff feedback in practical applications of game theory, we examine a class of learning dynamics where players adjust their choices based on past payoff observations that are subject to noise and random disturbances. First, in the single-player case (corresponding to an agent trying to adapt to an arbitrarily changing environment), we show that the stochastic dynamics under study lead to no regret almost surely, irrespective of the noise level in the player's observations. In the multi-player case, we find that dominated strategies become extinct and we show that strict Nash equilibria are stochastically stable and attracting; conversely, if a state is stable or attracting with positive probability, then it is a Nash equilibrium. Finally, we provide an averaging principle for 2-player games, and we show that in zero-sum games with an interior equilibrium, time averages converge to Nash equilibrium for any noise level.

연구 동기 및 목표

• 보상 관측치가 확률적 노이즈에 의해 손상될 때 학습 역학이 여전히 이성적이고 안정적인가를 조사하는 것.
• 강화학습(예: 지수 가중치)의 알려진 수렴 성질을 불완전하고 노이즈가 있는 피드백 환경으로 확장하는 것.
• 엄격한 나시 균형이 임의의 노이즈 수준에서도 여전히 확률적 안정성과 끌림 성질을 유지하는가를 판단하는 것.
• 2명의 플레이어로 구성된 0-합 게임에서 내부 균형이 존재할 경우, 플레이의 시간 평균이 나시 균형으로 수렴하는 조건을 설정하는 것.

제안 방법

• 누적 보상 점수 기반의 연속시간 강화학습 프레임워크를 사용하여 플레이어의 전략 갱신을 모델링하며, 행동 선택은 점수의 소프트맥스(지수 가중)를 통해 이루어진다.
• 브라운 운동을 사용하는 이토 과정을 도입하여 보상 관측치에 확률적 편향을 도입함으로써 실제 세계의 불확실성을 모델링한다.
• 수렴성과 안정성 분석을 위해 펜첼 쌍대성(Fenchel coupling)과 볼록 쌍대 함수를 활용하며, 확률적 분석 및 마틴게일 이론의 도구를 활용한다.
• 이토의 공식을 사용하여 전략 벡터와 보상 벡터 간의 펜첼 쌍대성의 역학을 유도함으로써, 노리그레트와 안정성 분석이 가능하도록 한다.
• 평균화 원리(averaging principle)를 적용하여 2명의 플레이어로 구성된 0-합 게임에서 플레이의 시간 평균이 나시 균형으로 수렴함을 보여준다.
• 리아프노프 함수와 대규모 변동 기법을 기반으로 한 확률적 안정성 추론을 사용하여, 엄격한 균형이 양의 확률로 끌림을 가지는 것을 증명한다.

실험 결과

연구 질문

• RQ1 보상 관측치에 임의로 높은 노이즈 수준이 존재할 경우, 지수 가중 학습의 노리그레트 성질이 유지되는가?
• RQ2 다중 플레이어 게임에서 확률적 보상 편향이 존재할 경우 지배당하는 전략은 여전히 퇴출되는가?
• RQ3 플레이어가 노이즈가 있는 보상 신호를 받더라도 엄격한 나시 균형이 여전히 확률적 안정성과 끌림 성질을 가지는가?
• RQ4 2명의 플레이어로 구성된 0-합 게임에서 내부 균형이 존재하고 노이즈 피드백이 존재할 경우, 플레이의 시간 평균이 나시 균형으로 수렴하는 조건은 무엇인가?
• RQ5 일반적인 확률적 편향 하에서 학습 역학에 대해 통합적인 일致성 결과(노리그레트)를 확립할 수 있는가?

주요 결과

• 단일 플레이어 케이스에서는, 보상 관측치의 노이즈 수준과 관계없이 플레이어가 거의 확실하게 노리그레트를 달성한다.
• 다중 플레이어 게임에서는 제안된 학습 역학 하에 지배당하는 전략이 거의 확실하게 퇴출된다.
• 엄격한 나시 균형은 보상 관측치의 변동성이 매우 높더라도 여전히 확률적 안정성과 끌림 성질을 가진다.
• 어떤 상태가 양의 확률로 안정적이거나 끌림 성질을 가지면, 그 상태는 반드시 나시 균형이어야 한다.
• 내부 나시 균형이 존재하는 2명의 플레이어로 구성된 0-합 게임에서는, 어떤 노이즈 수준이 존재하더라도 플레이의 시간 평균이 나시 균형으로 수렴한다.
• 2명의 플레이어 게임에서는 평균화 원리가 성립하여, 확률적 편향 하에서도 경험적 플레이가 균형으로 수렴함을 보장한다.