[논문 리뷰] Near-Optimal No-Regret Learning Dynamics for General Convex Games

Gabriele Farina, Ioannis Anagnostides외 4명|arXiv (Cornell University)|2022. 06. 17.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 일반 볼록 게임에서 임의의 볼록이고 컴act한 전략 집합을 갖는 데에 대해 새로운 no-regret 학습 알고리즘인 LRL-OFTRL을 소개한다. 올림프틱 팔로우-더-레귤라이즈드-리더 프레임워크를 사용하여, 타당 영역의 바리어 함수가 아닌 자기-일관성 있는 레귤라이저를 갖는 확장된 공간에서 학습함으로써, 각 플레이어의 누적 손실이 $O(\log T)$ 수준으로 유지되며, 기존의 $O(\sqrt{T})$ 보다 훨씬 향상된 성능을 달성한다. 이는 $O(\log\log T)$ 반복 복잡도를 갖는 프록시멀 오라클을 통해 효율적으로 구현 가능하다.

ABSTRACT

A recent line of work has established uncoupled learning dynamics such that, when employed by all players in a game, each player's \emph{regret} after $T$ repetitions grows polylogarithmically in $T$, an exponential improvement over the traditional guarantees within the no-regret framework. However, so far these results have only been limited to certain classes of games with structured strategy spaces -- such as normal-form and extensive-form games. The question as to whether $O( ext{polylog} T)$ regret bounds can be obtained for general convex and compact strategy sets -- which occur in many fundamental models in economics and multiagent systems -- while retaining efficient strategy updates is an important question. In this paper, we answer this in the positive by establishing the first uncoupled learning algorithm with $O(\log T)$ per-player regret in general \emph{convex games}, that is, games with concave utility functions supported on arbitrary convex and compact strategy sets. Our learning dynamics are based on an instantiation of optimistic follow-the-regularized-leader over an appropriately \emph{lifted} space using a \emph{self-concordant regularizer} that is, peculiarly, not a barrier for the feasible region. Further, our learning dynamics are efficiently implementable given access to a proximal oracle for the convex strategy set, leading to $O(\log\log T)$ per-iteration complexity; we also give extensions when access to only a \emph{linear} optimization oracle is assumed. Finally, we adapt our dynamics to guarantee $O(\sqrt{T})$ regret in the adversarial regime. Even in those special cases where prior results apply, our algorithm improves over the state-of-the-art regret bounds either in terms of the dependence on the number of iterations or on the dimension of the strategy sets.

연구 동기 및 목표

• 기존 결과가 정규형 또는 광범위형 게임과 같이 구조화된 게임에 국한되어 있던 일반 볼록 게임에서 no-regret 학습의 격차를 메우기 위해.
• 임의의 볼록이고 컴 pact한 전략 집합을 갖는 일반 볼록 게임에서 근사 최적의 $O(\log T)$ 손실을 달성하는, 효율적으로 구현 가능한 강력한 비연결 학습 역학을 개발하기 위해.
• 기존의 $O(\operatorname{polylog}T)$ 손실 보장을 더 넓은 게임 클래스로 확장하기 위해, 이는 라우팅, 자원 할당, 시장 경쟁 모델을 포함한다.
• 더 강력한 이차 또는 선형 오라클이 아닌 프록시멀 오라클만 요구함으로써 실용적 효율성을 확보하기 위해, 반복 복잡도가 $O(\log\log T)$ 수준이 되도록 하기 위해.
• 유용성이 비정적일 경우에도 공격적 환경에서 $O(\sqrt{T})$ 손실을 보장함으로써 내성적 강건성을 유지하기 위해.

제안 방법

• 전략 변수와 이중 변수의 확장된 공간에서 올림프틱 팔로우-더-레귤라이즈드-리더(OFTRL) 기반의 새로운 학습 역학인 LRL-OFTRL을 제안한다.
• 타당 영역의 바리어 함수가 아닌 자기-일관성 있는 레귤라이저를 사용함으로써, 효율적인 계산과 강력한 손실 보장을 가능하게 한다.
• 레귤라이저가 닫힌 형식의 갱신과 KKT 시스템의 단순화를 가능하게 하도록, 원천 전략 변수를 고차원 공간으로 올린다.
• 최적의 이중 변수를 KKT 시스템을 통해 유도하며, 이는 값 함수 $V_Q(t; \bm{g}, \bm{w})$ 의 부분미분을 구하는 것으로 줄어든다. 이 값 함수는 조각별 선형(SMPL) 함수로 나타남을 보여준다.
• 레귤라이저 목적 함수의 최적화를 위해 $t \in [0,1]$ 에서의 최소화를 수행하며, 도함수 $\lambda_Q(t; \bm{g}, \bm{w})$ 와 SMPL 구조를 활용하여 효율적인 계산을 수행하는 프록시멀 오라클을 구성한다.
• 더 약한 선형 최적화 오라클 조건 하에서도 작동하도록 방법을 확장하나, 반복 복잡도가 높아지며 보다 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 임의의 볼록이고 컴 pact한 전략 집합을 갖는 일반 볼록 게임에서, 효율적으로 구현 가능한 비연결 학습 알고리즘을 통해 $O(\log T)$ 손실을 달성할 수 있는가?
• RQ2 유용성이 공격적일 경우, 비정적 환경에서도 강건성을 유지하면서 이 손실 보장을 유지할 수 있는가?
• RQ3 더 강력한 이차 오라클이 아닌 프록시멀 오라클만을 사용하여 알고리즘을 효율적으로 구현할 수 있는가?
• RQ4 제안된 방법이 이전의 $O(\operatorname{polylog}T)$ 손실 알고리즘보다 $T$ 나 차원에 대한 손실 의존성 측면에서 우월한가?
• RQ5 확장된 공간과 자기-일관성 레귤라이저 프레임워크를 통해 전략 공간에 대한 닫힌 형식 또는 효율적으로 계산 가능한 갱신 규칙을 유도할 수 있는가?

주요 결과

• 제안된 LRL-OFTRL 알고리즘은 일반 볼록 게임에서 각 플레이어의 손실이 $O(\log T)$ 수준으로 유지되며, 기존의 고전적 $O(\sqrt{T})$ 보다 뚜렷한 향상을 이룬다.
• 손실 한계는 로그 인자에 대해 최적이며, 정규형 게임과 같은 구조화된 게임에서 알려진 최고 성능과 일치한다.
• 프록시멀 오라클이 제공될 경우, 반복당 $O(\log\log T)$ 번의 연산만으로도 알고리즘이 효율적으로 구현 가능하다.
• 알고리즘은 공격적 환경에서도 강건성을 유지하며, 유용성이 비정적일 경우에도 $O(\sqrt{T})$ 손실을 보장한다.
• 프록시멀 오라클의 구성은 이중 도함수 $\lambda_Q(t; \bm{g}, \bm{w})$ 의 SMPL(조각별 선형) 구조에 기반하여, $t \in [0,1]$ 에서의 정확하고 효율적인 최소화를 가능하게 한다.
• 선형 최적화 오라클 조건 하에서도 방법을 확장할 수 있으며, 반복 복잡도가 $O(\log T)$ 수준으로 높아지지만, 적용 범위를 넓힌다.