[논문 리뷰] Finite-Time Last-Iterate Convergence for Multi-Agent Learning in Games

Tianyi Lin, Zhengyuan Zhou외 2명|arXiv (Cornell University)|2020. 02. 23.

Reinforcement Learning in Robotics참고 문헌 17인용 수 6

한 줄 요약

이 논문은 $λ$-코코어시브 게임에서 온라인 그래디언트 디센트(OGD)의 유한시간 최종 반복 수렴 속도를 확립한다. 이는 강한 단조성 게임을 포함하는 다중 에이전트 게임의 넓은 클래스이다. 논문은 코코어시비티 상수 $λ$의 지식이 필요 없이 동일한 수렴 속도를 달성하는 완전히 적응형 OGD 알고리즘을 제안하며, 새로운 双정지시간 기법을 사용한다. 또한 비선형 피드백과 비감소 단계 크기를 고려한 분석으로 확장된다.

ABSTRACT

In this paper, we consider multi-agent learning via online gradient descent in a class of games called $λ$-cocoercive games, a fairly broad class of games that admits many Nash equilibria and that properly includes unconstrained strongly monotone games. We characterize the finite-time last-iterate convergence rate for joint OGD learning on $λ$-cocoercive games; further, building on this result, we develop a fully adaptive OGD learning algorithm that does not require any knowledge of problem parameter (e.g. cocoercive constant $λ$) and show, via a novel double-stopping time technique, that this adaptive algorithm achieves same finite-time last-iterate convergence rate as non-adaptive counterpart. Subsequently, we extend OGD learning to the noisy gradient feedback case and establish last-iterate convergence results -- first qualitative almost sure convergence, then quantitative finite-time convergence rates -- all under non-decreasing step-sizes. To our knowledge, we provide the first set of results that fill in several gaps of the existing multi-agent online learning literature, where three aspects -- finite-time convergence rates, non-decreasing step-sizes, and fully adaptive algorithms have been unexplored before.

연구 동기 및 목표

• 다중 에이전트 학습에서 최종 반복 수렴에 대한 유한시간 수렴 속도 보장의 부족을 해결한다. 특히 온라인 그래디언트 디센트(OGD)에 대해.
• 비감소 단계 크기와 완전히 적응형 알고리즘 하에서 최종 반복 수렴을 분석함으로써 문헌의 핵심적 격차를 메운다.
• 강한 단조성 게임을 일반화하고 다수의 내쉬 균형을 허용하는 클래스인 $λ$-코코어시브 게임에서 OGD에 대한 정량적 수렴 속도를 확립한다.
• 노이즈 있는 기울기 피드백으로의 분석을 확장하여, 거의 확실한 수렴과 정량적 유한시간 수렴 속도를 모두 제공한다.
• 코코어시비티 상수 $λ$와 같은 문제 파rameter의 사전 지식 없이도 비적응형 버전과 동일한 수렴 속도를 달성하는 완전히 적응형 OGD 알고리즘을 개발한다.

제안 방법

• 강한 단조성 게임을 포함하고 다수의 내쉬 균형을 허용하는 넓은 범위의 게임인 $λ$-코코어시브 게임을 정의한다.
• 이를 기반으로 $λ$-코코어시브 게임에서의 공동 OGD 학습을 분석하고, 새로운 이중정지시간 기법을 사용하여 유한시간 최종 반복 수렴 속도를 유도한다.
• 코코어시비티 상수 $λ$의 지식 없이도 단계 크기를 동적으로 조정하는 완전히 적응형 OGD 알고리즘을 제안한다.
• 리아푸노프 스타일의 분석을 통해 시간이 지남에 따라 평균 오차 $\mathbf{v}(\mathbf{x}_t)^2$를 유한하게 제한한다. 이는 평형점과의 거리를 측정한다.
• 정지시간을 통한 평균 오차의 성장 제어를 통해 적응형 알고리즘이 비적응형 버전과 동일한 유한시간 수렴 속도를 달성함을 입증한다.
• 비감소 단계 크기 하에서 노이즈 있는 피드백으로의 분석을 확장하여, 거의 확실한 수렴과 유한시간 수렴 속도를 모두 입증한다.

실험 결과

연구 질문

• RQ1 강한 단조성 게임을 일반화하는 다중 에이전트 게임의 넓은 클래스인 $λ$-코코어시브 게임에서 OGD에 대해 유한시간 최종 반복 수렴 속도를 확립할 수 있는가?
• RQ2 코코어시비티 상수 $λ$의 사전 지식 없이도 비적응형 버전과 동일한 수렴 속도를 달성하는 완전히 적응형 OGD 알고리즘을 설계할 수 있는가?
• RQ3 비감소 단계 크기 하에서 노이즈 있는 기울기 피드백 하에서 OGD는 $λ$-코코어시브 게임에서 최종 반복 수렴을 달성하는가?
• RQ4 노이즈 있는 피드백과 비감소 단계 크기를 고려한 $λ$-코코어시브 게임에서 OGD의 정량적 유한시간 수렴 속도는 무엇인가?
• RQ5 이러한 설정에서 이중정지시간 기법을 사용하여 적응형 OGD의 유한시간 수렴을 확립할 수 있는가?

주요 결과

• 논문은 $λ$-코코어시브 게임에서 공동 OGD에 대해 유한시간 최종 반복 수렴 속도를 확립한다. 적절한 조건 하에서 오차는 $O(\sqrt{\log T}/T)$ 속도로 감소한다.
• 코코어시비티 상수 $\lambda$의 지식 없이도 비적응형 버전과 동일한 유한시간 수렴 속도를 달성하는 완전히 적응형 OGD 알고리즘을 제안한다.
• 적응형 알고리즘의 수렴은 평균 오차의 성장 제어를 통해 시간이 지남에 따라 제어하는 새로운 이중정지시간 기법을 사용하여 증명된다.
• 노이즈 있는 피드백의 경우, 비감소 단계 크기 하에서 거의 확실한 수렴과 정량적 유한시간 수렴 속도를 모두 확립한다.
• 평균 오차 $\mathbb{E}[\|\mathbf{v}(\mathbf{x}_t)\|^2]$ 는 전역 상수 $C_1, C_2 > 0$ 에 대해 $C_1 + C_2\sqrt{\log(T+1)}$ 으로 유한하게 제한되며, 이는 유한시간 수렴 분석을 가능하게 한다.
• 분석 결과 $\mathbb{E}[\epsilon(\mathbf{x}_T)] \leq \frac{\sum_{t=t_1^*}^T \mathbb{E}[\epsilon(\mathbf{x}_t)]}{T - t_1^* + 1} + \frac{C \log(T+1)}{\lambda(T - t_1^* + 1)} \sum_{t=0}^{T-1} \tau_t$ 를 도출하여 평균 오차에 대해 $O(\log T / T)$ 수렴 속도를 의미한다.