[논문 리뷰] Hedging in games: Faster convergence of external and swap regrets

Xi Chen, Binghui Peng|arXiv (Cornell University)|2020. 06. 08.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 6

한 줄 요약

이 논문은 블룸-만수어 외부-내부 위험 감소 기법을 활용한 옵티미스틱 헤지와의 조합을 통해, 다수 플레이어 게임에서 상관 균형에 더 빠르게 수렴하는 새로운 알고리즘인 BM-Optimistic-Hedge를 제안한다. 이는 교환 위험 감소 속도가 $ O(m^{1/2}(n\log n/T)^{3/4}) $ 로 감소함을 증명하며, 이는 이전의 $ O(\sqrt{n\log n/T}) $ bound보다 크게 향상되었고, 이중 플레이어 게임에서 옵티미스틱 헤지가 $ O(1/T^{5/6}) $ 의 위험 감소 속도를 달성함을 보이며 이전의 $ O(1/T^{3/4}) $ 보다 향상되었으며, 보통 헤지 알고리즘은 $ O(1/\sqrt{T}) $ 를 초과할 수 없음을 보여, 열린 질문을 해결한다.

ABSTRACT

We consider the setting where players run the Hedge algorithm or its optimistic variant to play an $n$-action game repeatedly for $T$ rounds. 1) For two-player games, we show that the regret of optimistic Hedge decays at $ ilde{O}( 1/T ^{5/6} )$, improving the previous bound $O(1/T^{3/4})$ by Syrgkanis, Agarwal, Luo and Schapire (NIPS'15) 2) In contrast, we show that the convergence rate of vanilla Hedge is no better than $ ildeΩ(1/ \sqrt{T})$, addressing an open question posted in Syrgkanis, Agarwal, Luo and Schapire (NIPS'15). For general m-player games, we show that the swap regret of each player decays at rate $ ilde{O}(m^{1/2} (n/T)^{3/4})$ when they combine optimistic Hedge with the classical external-to-internal reduction of Blum and Mansour (JMLR'07). The algorithm can also be modified to achieve the same rate against itself and a rate of $ ilde{O}(\sqrt{n/T})$ against adversaries. Via standard connections, our upper bounds also imply faster convergence to coarse correlated equilibria in two-player games and to correlated equilibria in multiplayer games.

연구 동기 및 목표

• 반복 게임에서 위험 최소화의 수렴 속도를 향상시키며, 특히 다수 플레이어 환경에서의 교환 위험에 초점을 맞춘다.
• 보통 헤지 알고리즘이 반복 게임에서 $ O(1/\sqrt{T}) $ 보다 빠른 위험 수렴 속도를 달성할 수 있는지 여부에 대한 열린 질문을 해결한다.
• 블룸-만수어 감소 기법과 옵티미스틱 헤지의 조합을 통해 다수 플레이어 게임에서의 교환 위험에 대한 더 엄밀한 경계를 설정한다.
• 개선된 위험 경계를 통해 상관 균형에 더 빠르게 수렴함을 보여준다.
• BM-Optimistic-Hedge 알고리즘이 적대적 환경에서도 강건성을 유지하면서 더 빠른 수렴을 달성함을 보여준다.

제안 방법

• BM-Optimistic-Hedge 알고리즘은 옵티미스틱 헤지 알고리즘과 블룸 및 만수어의 외부-내부 위험 감소 기법을 조합한다.
• 옵티미스틱 헤지의 RVU(위험은 이용가용성의 변화로 제한됨) 성질을 활용하여 개별 플레이어의 위험를 제한한다.
• 전략 궤적의 $ \ell_1 $-노름 변화를 비용 벡터의 $ \ell_\infty $-노름 변화로 제한하는 안정성 추론을 사용한다.
• 헤지 알고리즘에 의해 유도되는 전이 행렬의 미세한 변화에 대한 정적 분포의 민감도를 제어하기 위해 마르코프 체인 수형 정리를 적용한다.
• 전략 이동과 손실 벡터 변화 간의 관계를 연결하기 위해 궤적 길이 추론을 사용하여 더 엄밀한 위험 경계를 확보한다.
• 문헌상 알고리즘 [7]과 옵티미스틱 예측을 조합하여 두 번째의 빠른 무교환 위험 없음 알고리즘을 유도한다.

실험 결과

연구 질문

• RQ1 다수 플레이어 게임에서의 교환 위험 수렴 속도를 기존의 표준 $ O(\sqrt{n\log n/T}) $ 경계를 초월하여 향상시킬 수 있는가?
• RQ2 이중 플레이어 게임에서 옵티미스틱 헤지가 $ O(1/T^{3/4}) $ 보다 더 빠른 위험 감소 속도를 달성하는가?
• RQ3 반복 게임에서 보통 헤지 알고리즘이 적대적 환경에서 관찰된 것처럼 $ O(1/\sqrt{T}) $ 보다 빠른 위험 수렴 속도를 달성할 수 있는가?
• RQ4 옵티미스틱 헤지의 전략 궤적이 블룸-만수어 감소 기법과 조합되었을 때 충분히 안정되어 있어 빠른 수렴을 가능하게 하는가?
• RQ5 낮은 근사 위험을 가진 무교환 위험 없음 알고리즘은 부드러운 게임에서 약간 최적화된 사회 복지에 더 빠르게 수렴하는가?

주요 결과

• BM-Optimistic-Hedge를 사용하는 $ m $-플레이어 게임에서 각 플레이어의 교환 위험 감소 속도는 $ O(m^{1/2}(n\log n/T)^{3/4}) $ 로 감소하며, 이는 이전의 $ O(\sqrt{n\log n/T}) $ 경계를 향상시킨다.
• 이중 플레이어 게임에서 옵티미스틱 헤지의 평균 위험 감소 속도는 $ O(1/T^{5/6}) $ 로 감소하며, 이는 이전의 $ O(1/T^{3/4}) $ 경계를 향상시킨다.
• 보통 헤지 알고리즘은 반복 게임에서 $ O(1/\sqrt{T}) $ 보다 빠른 위험 감소를 달성할 수 없으며, Syrgkanis 등 [27]에서 제기한 열린 질문을 해결한다.
• BM-Optimistic-Hedge를 사용하는 플레이어들의 경험 분포는 $ O(n\log n/\epsilon^{4/3}) $ 라운드 내에 $ \epsilon $-상관 균형으로 수렴하며, 이는 이전의 $ O(n\log n/\epsilon^2) $ 경계를 향상시킨다.
• 알고리즘은 적대적 환경에 대해 강건성을 유지하며, BM-Optimistic-Hedge와 문헌-옵티미스틱 변형 모두 상호 대결 시 빠른 수렴을 달성한다.
• 부드러운 게임에서 플레이어들이 낮은 근사 위험을 가진 무교환 위험 없음 알고리즘을 사용할 경우, 평균 사회 복지는 $ O(1/T) $ 속도로 약간 최적 수준으로 수렴한다.