[논문 리뷰] Learning in games with continuous action sets and unknown payoff functions

Panayotis Mertikopoulos, Zhengyuan Zhou|arXiv (Cornell University)|2016. 08. 25.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 5

한 줄 요약

이 논문은 연속된 행동 집합과 알려지지 않은 보상 함수를 가진 게임에서의 no-regret 학습을 연구하며, 노이즈가 섞인 기울기 추정치를 사용하는 이중 평균 알고리즘에 초점을 맞춘다. 변동 안정성은 높은 확률로 국소 수렴을 보장하고, 전반적 안정성은 거의 확실한 전역 수렴을 보장하며, 명시적인 수렴 속도 추정치가 제공된다.

ABSTRACT

This paper examines the convergence of no-regret learning in games with continuous action sets. For concreteness, we focus on learning via "dual averaging", a widely used class of no-regret learning schemes where players take small steps along their individual payoff gradients and then "mirror" the output back to their action sets. In terms of feedback, we assume that players can only estimate their payoff gradients up to a zero-mean error with bounded variance. To study the convergence of the induced sequence of play, we introduce the notion of variational stability, and we show that stable equilibria are locally attracting with high probability whereas globally stable equilibria are globally attracting with probability 1. We also discuss some applications to mixed-strategy learning in finite games, and we provide explicit estimates of the method's convergence speed.

연구 동기 및 목표

• 연속된 행동 집합과 알려지지 않은 보상 함수를 가진 게임에서 no-regret 학습의 수렴성을 분석하기.
• 노이즈가 섞인 보상 기울기 추정치가 학습 동역학에 미치는 영향을 연구하기.
• 수렴 조건으로서의 변동 안정성 개념을 도입하고 체계화하기.
• 전반적 변동 안정성 하에서 학습의 거의 확실한 전역 수렴을 특성화하기.
• 안정성 조건 하에서 학습 방법의 명시적 수렴 속도 추정치를 제공하기.

제안 방법

• 플레이어가 추정된 보상 기울기 방향으로 작은 단계를 따라 행동을 갱신하는 no-regret 학습 체계인 이중 평균을 사용한다.
• 갱신된 행동을 타당 행동 집합으로 다시 투영하기 위해 '미러' 연산을 적용한다.
• 보상 기울기가 평균이 0이고 분산이 유한한 노이즈로 추정된다고 가정한다.
• 균형의 흡인성을 특성화하기 위해 변동 안정성의 개념을 도입한다.
• 수렴 성질을 연구하기 위해 확률적 근사와 라플라스 기반 분석을 활용한다.
• 안정성 조건 하에서 명시적인 수렴 속도 추정치를 유도한다.

실험 결과

연구 질문

• RQ1 연속된 행동 집합과 알려지지 않은 보상 함수를 가진 게임에서 no-regret 학습이 균형에 수렴하는 조건은 무엇인가?
• RQ2 노이즈가 섞인 기울기 추정치는 학습 동역학의 수렴에 어떤 영향을 미치는가?
• RQ3 변동 안정성은 국소 또는 전역 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 전반적 변동 안정성이 거의 확실한 균형 수렴을 보장할 수 있는가?
• RQ5 안정성 가정 하에서 이중 평균 방법의 명시적 수렴 속도는 무엇인가?

주요 결과

• 노이즈가 섞인 기울기 추정치를 사용하는 이중 평균 알고리즘 하에서 안정된 균형은 높은 확률로 국소적으로 흡인된다.
• 전반적으로 안정된 균형은 확률 1로 전역적으로 흡인되며, 거의 확실한 수렴을 보장한다.
• 학습 방법의 수렴 속도가 명시적으로 추정되어 정량적 성능 한계를 제공한다.
• 적절한 연속 행동 공간에 대한 임bedding을 통해 이 프레임워크는 유한 게임에서 혼합 전략 학습에 적용 가능하다.
• 변동 안정성은 수렴을 위한 충분조건로 작용하며, 게임이론적 안정성과 학습 동역학을 연결한다.
• 보상 기울기 추정에서 분산이 유한할 경우 분석이 유지되어 추정 오차에 대한 강건성을 확보한다.