[논문 리뷰] Learning in Games: Robustness of Fast Convergence

Dylan J. Foster, Zhiyuan Li외 3명|arXiv (Cornell University)|2016. 06. 20.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 20

한 줄 요약

이 논문은 반복 게임에서 제한된 피드백 조건(예: 실현된 피드백 또는 밴딧 피드백) 하에서도 근사 최적성으로의 빠른 수렴을 보장하기 위해 통합적 프레임워크로 '저근사 손실' 성질을 도입한다. 이 성질은 일반적으로 사용되는 학습 알고리즘—예를 들어 순수한 헤지(Hedge) 알고리즘—이 높은 확률로 O(1/T) 수렴 속도를 달성함을 보여주며, 이는 이전 연구 대비 플레이어 수 n의 요소만큼 향상된 성능이며, 높은 플레이어 이탈률을 보이는 동적 인구 구조의 게임으로도 확장된다.

ABSTRACT

We show that learning algorithms satisfying a $ extit{low approximate regret}$ property experience fast convergence to approximate optimality in a large class of repeated games. Our property, which simply requires that each learner has small regret compared to a $(1+ε)$-multiplicative approximation to the best action in hindsight, is ubiquitous among learning algorithms; it is satisfied even by the vanilla Hedge forecaster. Our results improve upon recent work of Syrgkanis et al. [SALS15] in a number of ways. We require only that players observe payoffs under other players' realized actions, as opposed to expected payoffs. We further show that convergence occurs with high probability, and show convergence under bandit feedback. Finally, we improve upon the speed of convergence by a factor of $n$, the number of players. Both the scope of settings and the class of algorithms for which our analysis provides fast convergence are considerably broader than in previous work. Our framework applies to dynamic population games via a low approximate regret property for shifting experts. Here we strengthen the results of Lykouris et al. [LST16] in two ways: We allow players to select learning algorithms from a larger class, which includes a minor variant of the basic Hedge algorithm, and we increase the maximum churn in players for which approximate optimality is achieved. In the bandit setting we present a new algorithm which provides a "small loss"-type bound with improved dependence on the number of actions in utility settings, and is both simple and efficient. This result may be of independent interest.

연구 동기 및 목표

• 실현된 피드백 또는 밴딧 피드백과 같은 최소한의 피드백 가정 하에서도 반복 게임에서 근사 최적성으로의 빠른 수렴을 확립하기 위해.
• 플레이어가 시간이 지남에 따라 입퇴장하는 동적 인구 게임에 대해 수렴 보장을 확장하기 위해.
• 범용 학습 알고리즘—예를 들어 순수한 헤지(Hedge) 알고리즘—이 저근사 손실 성질을 만족함으로써 빠른 수렴이 가능함을 보여주기 위해.
• 이전 연구 대비 수렴 속도를 n 배 향상시키면서도 높은 확률 수렴을 유지하기 위해.
• 부드러운 게임과 메커니즘에서의 no-regret 학습에 관한 기존 결과를 통합하고 강화하는 일반적 프레임워크를 제공하기 위해.

제안 방법

• 저근사 손실 성질 도입: 알고리즘이 후행적으로 가장 좋은 행동에 비해 (1+ε) 배 이내의 손실을 가지며, 추가로 부적합성 항이 존재함.
• 손실 한계의 일부를 비교 기준 항에 통합하는 새로운 분석 기법을 사용하여,加법적 및 곱셈적 근사 간의 트레이드오프를 가능하게 함.
• 고정된 학습률을 사용하는 헤지와 같은 표준 알고리즘이 A(d,T) = (e−1)log(d) 조건 하에 저근사 손실 성질을 만족함을 증명함.
• 랜덤화된 행동 샘플링과 기대 기반 손실 한계를 사용하여 밴딧 피드백 환경로에 분석을 적응시킴.
• 시간에 따라 변화하는 전문가 및 동적 인구에 대해, 시간에 따라 변화하는 행동 분포에 대한 손실을 제한함으로써 프레임워크를 확장함.
• 부드러운 메커니즘과 비용 최소화 게임에 적용하여, 가격의 비효율성 매개변수를 기반으로 사회적 복지에 대한 한계를 유도함.

실험 결과

연구 질문

• RQ1 예상 수익 피드백이 아닌 실현된 피드백 조건 하에서도 근사 최적성으로의 빠른 수렴을 보장할 수 있는가?
• RQ2 일반적으로 사용되는 학습 알고리즘—예를 들어 순수한 헤지(Hedge)—가 저근사 손실 성질을 만족하는가? 그리고 이 성질이 빠른 수렴을 암시하는가?
• RQ3 플레이어 이탈률이 높은 동적 게임 환경에서도 이전 연구 대비 수렴 속도를 n 배 향상시킬 수 있는가?
• RQ4 선택된 행동의 수익만 관측 가능한 밴딧 피드백 환경으로도 이 프레임워크를 확장할 수 있는가?
• RQ5 시간에 따라 변화하는 플레이어 집합과 높은 이탈률을 가진 환경으로도 결과를 일반화할 수 있는가?

주요 결과

• 순수한 헤지 알고리즘은 고정된 학습률 하에 A(d,T) = (e−1)log(d) 조건 하에 저근사 손실 성질을 만족함.
• 실현된 피드백 조건 하에서도 높은 확률로 근사 최적성으로의 수렴 속도가 O(1/T)에 도달하며, 이는 이전 연구 대비 n 배 향상됨.
• 최대 라운드당 O(n) 명의 플레이어 이탈이 가능한 동적 인구 게임에 대해서도 프레임워크가 적용 가능하며, 이는 이전 결과를 크게 확장함.
• 밴딧 피드백 환경에서는 새로운 알고리즘이 행동 수에 대해 향상된 의존성과 함께 '작은 손실' 유형의 한계를 달성함.
• 부드러운 메커니즘의 경우, 평균 사회적 복지는 다음을 만족함: (1/T)∑𝔼[SW(sᵗ)] ≥ (λ/max(μ,1+ε))Opt + (n/T)⋅(1/max(μ,1+ε))⋅(A(d,T)/ε).
• 분석은 기존 부드러운 게임에서의 빠른 수렴 결과를 통합하고 강화하며, 옵timistic Mirror Descent 및 Follow the Regularized Leader에 대한 결과를 포함함.