[논문 리뷰] Bandit learning in concave $N$-person games

Mario Bravo, David S. Leslie외 1명|arXiv (Cornell University)|2018. 10. 03.

Advanced Bandit Algorithms Research인용 수 28

한 줄 요약

이 논문은 거래가 없는 반복 게임에서 거래가 없는 피드백을 사용할 때 미러 디센트를 통해 거의 확실하게 나시 균형으로 수렴함을 확립한다. 단조성 조건이 만족될 경우, 알고리즘은 확률 1로 균형으로 수렴하며, 수렴 속도는 $\mathcal{O}(1/n^{1/3})$를 기록한다. 이는 단일 에이전트 띠드백 최적화에서 알려진 최고 수준의 속도에 거의 근접한다.

ABSTRACT

This paper examines the long-run behavior of learning with bandit feedback in non-cooperative concave games. The bandit framework accounts for extremely low-information environments where the agents may not even know they are playing a game; as such, the agents' most sensible choice in this setting would be to employ a no-regret learning algorithm. In general, this does not mean that the players' behavior stabilizes in the long run: no-regret learning may lead to cycles, even with perfect gradient information. However, if a standard monotonicity condition is satisfied, our analysis shows that no-regret learning based on mirror descent with bandit feedback converges to Nash equilibrium with probability $1$. We also derive an upper bound for the convergence rate of the process that nearly matches the best attainable rate for single-agent bandit stochastic optimization.

연구 동기 및 목표

• 거래가 없는 반복 게임에서 띠드백 피드백 하에 무실수 학습의 장기적 행동을 분석한다. 이 경우 에이전트들은 기울기 정보 없이 스칼라 보상만을 수신한다.
• 제한된 정보와 잠재적인 순환 행동이 존재하더라도 무실수 학습이 나시 균형으로 수렴하는지 여부를 규명한다.
• 미러 디센트를 사용한 띠드백 피드백가 나시 균형으로 거의 확실하게 수렴하는 조건을 설정한다.
• 띠드백 피드백 하에서 학습 과정의 수렴 속도 한계를 유도하고, 단일 에이전트 설정에서의 최고 수준의 속도와 비교한다.

제안 방법

• 에이전트들이 두 점 스토하스틱 근사(SPSA) 기반으로 기울기를 추정하는 띠드백 피드백을 사용한 미러 디센트를 적용한다.
• 연속 시간 역학의 수렴 결과를 이산 시간 학습 과정으로 옮기기 위해 점진적 의사궤적(APT) 프레임워크를 사용한다.
• 브레그만 발산 기반 분석을 통해 나시 균형으로부터의 거리를 추적하며, 잠재 함수로 $D_n = \frac{1}{2}\|X_n - x^*\|^2$ 를 사용한다.
• 게임의 수익 기울기에 대해 $\beta$-강한 단조성 조건을 도입하여 유일한 나시 균형으로의 수렴을 보장한다.
• 기대 브레그만 발산에 대한 재귀 부등식을 유도한다: $\bar{D}_{n+1} \leq (1 - \beta\gamma_n)\bar{D}_n + B\gamma_n\delta_n + \frac{V^2}{2K}\frac{\gamma_n^2}{\delta_n^2}$, 이는 수렴 속도를 유계로 제한하는 데 사용된다.
• 단계 크기 스케줄 $\gamma_n = \gamma / n^p$ 와 편향-분산 제어를 위한 $\delta_n = \delta / n^q$ 를 사용하여 편향과 분산 항을 균형 있게 조절하고, $p$ 와 $q$ 를 최적화한다.

실험 결과

연구 질문

• RQ1 무실수 학습이 띠드백 피드백를 사용할 때 볼록 $N$-인 게임에서 나시 균형으로 수렴하는 조건은 무엇인가?
• RQ2 에이전트들이 기울기 정보를 완전히 확보하지 못하더라도, 띠드백 피드백를 사용한 미러 디센트가 균형으로 수렴할 수 있는가?
• RQ3 이러한 학습 과정에서 달성 가능한 최적의 수렴 속도는 무엇이며, 단일 에이전트 띠드백 최적화와 비교해보면 어떠한가?
• RQ4 게임의 구조에 단조성이 존재할 경우, 제한된 피드백 하에서 무실수 학습이 안정화된 행동을 보일 수 있는가?
• RQ5 기본 단계 크기 스케줄과 SPSA 기울기 추정을 사용할 때, $\mathcal{O}(1/n^{1/3})$ 수렴 속도를 초월할 수 있는가?

주요 결과

• 단, $\beta$-강한 단조성 조건이 만족될 경우, 띠드백 피드백를 사용한 미러 디센트는 확률 1로 나시 균형으로 수렴한다.
• 단계 크기 스케줄 $\gamma_n = \gamma / n$ 과 편향 제어 $\delta_n = \delta / n^{1/3}$ 을 사용할 경우, 기대 브레그만 발산의 수렴 속도는 $\mathcal{O}(1/n^{1/3})$ 이다.
• 오라클 케이스(완전한 기울기 정보가 있는 경우), 수렴 속도는 $\mathcal{O}(1/n)$ 으로 향상되며, 이는 단일 에이전트 띠드백 최적화에서 알려진 최고 수준의 속도와 일치한다.
• $\mathcal{O}(1/n^{1/3})$ 속도는 표준 SPSA 추정 하에서 단계 크기 지수 $p$ 를 조정해도 향상될 수 없으며, 편향-분산 트레이드오프가 향상의 한계를 정한다.
• 분석 결과, 비단조성 게임에서 흔한 순환 및 혼돈 행동은 단조성 가정 하에서 띠드백 피드백가 존재하더라도 피할 수 있음을 보여준다.
• 제시된 조건 하에서 실제 행동 시퀀스와 시간 평균 행동 양쪽 모두에 대해 수렴 결과가 성립한다.