[논문 리뷰] Finite Regret and Cycles with Fixed Step-Size via Alternating Gradient Descent-Ascent

James P. Bailey, Gauthier Gidel외 1명|arXiv (Cornell University)|2019. 07. 09.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 7

한 줄 요약

이 논문은 에이전트들이 동시에 업데이트하는 대신 번갈아가며 전략을 업데이트하는 교대 그래디언트 디센트-어센트(AltGD)를 제안한다. 이를 통해 고정된 스텝 사이즈를 사용하는 0-합 게임에서 유한한 리그레트와 경계가 존재하는 순환 전략을 달성한다. 이는 이전까지 연속 시간 해밀토니안 역학에서만 관찰되었던 성질이며, 표준 동시 그래디언트 디센트-어센트에서는 관찰되지 않았다.

ABSTRACT

Gradient descent is arguably one of the most popular online optimization methods with a wide array of applications. However, the standard implementation where agents simultaneously update their strategies yields several undesirable properties; strategies diverge away from equilibrium and regret grows over time. In this paper, we eliminate these negative properties by introducing a different implementation to obtain finite regret via arbitrary fixed step-size. We obtain this surprising property by having agents take turns when updating their strategies. In this setting, we show that an agent that uses gradient descent obtains bounded regret -- regardless of how their opponent updates their strategies. Furthermore, we show that in adversarial settings that agents' strategies are bounded and cycle when both are using the alternating gradient descent algorithm.

연구 동기 및 목표

• 표준 동시 그래디언트 디센트-어센트에서 발생하는 불안정성과 유한하지 않은 리그레트 문제를 해결하기 위해.
• 연속 시간 해밀토니안 역학의 유리한 성질(예: 경계성과 재귀성)을 유지하는 이산 시간 역학을 개발하기 위해.
• 표준 동시 업데이트와 달리, 고정된 임의의 스텝 사이즈를 사용함에도 불구하고 유한한 리그레트와 순환 행동을 달성할 수 있음을 보여주기 위해.
• 이산 시간의 교대 업데이트 규칙을 통해 게임 역학, 해밀토니안 시스템, 심플렉틱 적분기법 간의 연결을 수립하기 위해.

제안 방법

• 에이전트들이 번갈아가며 업데이트한다: 먼저 최대화자(팔로워)가 그래디언트 상승을 사용해 업데이트하고, 그 다음 최소화자(리더)가 그래디언트 디센트를 사용해 업데이트한다.
• 업데이트 규칙은 두 단계 과정으로 구성된다: (1) x₁을 x₂를 사용해 업데이트하고, (2) 새로운 x₁을 사용해 x₂를 업데이트한다.
• 각 단계의 자코비안 행렬 행렬식이 1임을 증명함으로써, 전체 역학이 부피를 유지함을 보였다.
• 이 방법은 특히 레프프로그(버렛) 적분과 같은 심플렉틱 적분기법과 공식적으로 연결되며, 이는 해밀토니안 시스템에서 기하학적 구조를 유지한다.
• 이론적 분석을 통해 역학이 경계가 있고 재귀성을 띠며, 평형점 주변에서 순환 행동을 보임을 증명하였다.
• 연속 동역학의 탄성-단계 근사가 깨지는 것을 방지함으로써, 동시 그래디언트 디센트-어센트에서 관찰되는 발산과 혼돈을 피하는 데 성공하였다.

실험 결과

연구 질문

• RQ1 고정된 임의의 스텝 사이즈를 사용하는 이산 시간 알고리즘으로 0-합 게임에서 유한한 리그레트를 달성할 수 있는가?
• RQ2 교대 전략 업데이트가 에이전트 전략의 발산을 방지하고 경계성을 보장하는가?
• RQ3 연속 시간 가정 없이도 이산 동역학에서 순환 행동이 나타날 수 있는가?
• RQ4 안정성과 리그레트 측면에서 교대 그래디언트 디센트-어센트는 동시 그래디언트 디센트와 어떻게 비교되는가?
• RQ5 안정성의 배경이 되는 기하학적 또는 역학적 성질(예: 부피 유지)은 무엇인가?

주요 결과

• AltGD는 상대방의 전략이 어떠한 경우라도 에이전트의 리그레트가 경계됨을 보장한다. 이는 적대적 환경에서도 마찬가지이다.
• 역학은 부피를 유지하므로 재귀성을 띠며, 궤적이 초기 조건에 대해 무한히 자주 임의로 가까이 돌아오는 것을 의미한다.
• 모든 시간 동안 전략이 경계가 유지되어 동시 그래디언트 디센트-어센트에서 관찰되는 발산을 방지한다.
• 고정된 스텝 사이즈를 사용한 시뮬레이션에서 최대-최소 균형 주변에서 순환 행동이 나타남을 시각화하였다.
• 교대 업데이트 규칙은 심플렉틱 적분기법을 모방하여, 이산 시간에서 연속 시간 해밀토니안 역학의 기하학적 구조를 유지한다.
• 이론적 분석을 통해 각 업데이트 단계의 자코비안 행렬 행렬식이 1임을 확인하였으며, 이는 부피 유지와 안정성을 증명한다.