[논문 리뷰] Stochastic Stability of Reinforcement Learning in Positive-Utility Games.

Georgios C. Chasparis|arXiv (Cornell University)|2017. 09. 18.

Economic theories and models인용 수 1

한 줄 요약

이 논문은 리프레시먼트 러닝의 확률적 안정성 분석을 제안하며, 양의 유틸리티를 가진 유한한 전략형 게임에서 리만-유클리드 측도 프레임워크를 사용하여 리아프노프 또는 포텐셜 함수가 필요 없도록 한다. 이는 이러한 게임에서 불변 확률 측도를 계산하는 방법론을 수립하며, 조율 게임에서 확률적 안정 상태로의 수렴을 보여준다.

ABSTRACT

This paper considers a class of reinforcement-based learning (namely, perturbed learning automata) and provides a stochastic-stability analysis in repeatedly-played, positive-utility, finite strategic-form games. Prior work in this class of learning dynamics primarily analyzes asymptotic convergence through stochastic approximations, where convergence can be associated with the limit points of an ordinary-differential equation (ODE). However, analyzing global convergence through an ODE-approximation requires the existence of a Lyapunov or a potential function, which naturally restricts the analysis to a fine class of games. To overcome these limitations, this paper introduces an alternative framework for analyzing asymptotic convergence that is based upon an explicit characterization of the invariant probability measure of the induced Markov chain. We further provide a methodology for computing the invariant probability measure in positive-utility games, together with an illustration in the context of coordination games.

연구 동기 및 목표

• 리아프노프 또는 포텐셜 함수에 의존하는 ODE 기반 수렴 분석의 한계를 극복하기 위해.
• 그러한 함수가 필요 없는 확률적 안정성 분석 프레임워크를 개발하기 위해.
• 왜곡된 학습 기계에 의해 유도된 마르코프 체인의 불변 확률 측도를 명시적으로 특성화하기 위해.
• 양의 유틸리티 게임에서의 불변 측도에 대한 계산 방법론을 제공하기 위해.
• 조율 게임의 맥락에서 접근 방식을 설명하여, 확률적 안정 상태로의 수렴을 보여주기 위해.

제안 방법

• 유한한 전략형 게임에서 학습 기계로 왜곡된 학습 기계를 사용한다.
• 유도된 마르코프 체인을 분석하고 그 불변 확률 측도를 특성화한다.
• 불변 측도를 사용하여 학습 결과의 확률적 안정성을 평가한다.
• 양의 유틸리티 게임에서의 불변 측도에 대한 계산 절차를 유도한다.
• ODE 근사에 의존하지 않고 장기적 행동을 계산하기 위해 명시적 대수적 및 확률적 기법을 활용한다.
• 조율 게임에 대한 적용을 통해 프레임워크를 검증하며, 확률적 안정 평형으로의 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 리아프노프 또는 포텐셜 함수에 의존하지 않고 리프레시먼트 러닝에서의 확률적 안정성을 어떻게 분석할 수 있는가?
• RQ2 불변 확률 측도는 양의 유틸리티 게임에서 장기적 학습 행동을 특성화하는 데 어떤 역할을 하는가?
• RQ3 불변 측도는 양의 유틸리티 게임에서 명시적으로 계산될 수 있는가? 만약 가능하면, 어떻게 계산하는가?
• RQ4 일반성과 적용 가능성 측면에서 제안된 방법은 ODE 기반 수렴 분석과 비교해 어떻게 다른가?
• RQ5 이 프레임워크 하에서 조율 게임의 학습 동역학의 확률적 안정성 특성은 무엇인가?

주요 결과

• 불변 확률 측도는 리프레시먼트 러닝 동역학에서 확률적 안정 상태를 직접적으로 특성화한다.
• 이 방법론은 리아프노프 또는 포텐셜 함수의 존재가 필요 없이도 확률적 안정성 분석을 가능하게 한다.
• 양의 유틸리티 게임에 대해 불변 측도를 위한 계산 가능한 프레임워크를 수립한다.
• 조율 게임에서는 이 방법이 장기적 학습 결과로 확률적 안정 평형을 식별한다.
• 포텐셜 함수를 갖는 게임의 범주를 넘어서 수렴 분석의 범위를 확장한다.
• 결과는 왜곡된 학습 기계가 ODE 기반 방법이 실패할 수 있는 경우에도, 양의 유틸리티 게임에서 확률적 안정 상태로 수렴함을 보여준다.