[논문 리뷰] Convergence Analysis of Gradient-Based Learning with Non-Uniform Learning Rates in Non-Cooperative Multi-Agent Settings

Benjamin J. Chasnov, Lillian J. Ratliff외 2명|arXiv (Cornell University)|2019. 05. 30.

Mathematical Biology Tumor Growth참고 문헌 28인용 수 5

한 줄 요약

이 논문은 비균일 학습률을 가진 비협력 다중 에이전트 게임에서 기울기 기반 학습의 수렴 보장을 제공하며, 결정론적 및 확률론적 설정 모두에서 안정적인 국소 나이시 균형의 이웃으로 유한 시간 내 수렴함을 보여준다. 비균일 학습률이 조건화 효과를 유도하며, 벡터장 왜곡을 통해 수렴 속도와 흡인 영역을 변화시킨다는 점을 밝혀낸다.

ABSTRACT

Considering a class of gradient-based multi-agent learning algorithms in non-cooperative settings, we provide local convergence guarantees to a neighborhood of a stable local Nash equilibrium. In particular, we consider continuous games where agents learn in (i) deterministic settings with oracle access to their gradient and (ii) stochastic settings with an unbiased estimator of their gradient. Utilizing the minimum and maximum singular values of the game Jacobian, we provide finite-time convergence guarantees in the deterministic case. On the other hand, in the stochastic case, we provide concentration bounds guaranteeing that with high probability agents will converge to a neighborhood of a stable local Nash equilibrium in finite time. Different than other works in this vein, we also study the effects of non-uniform learning rates on the learning dynamics and convergence rates. We find that much like preconditioning in optimization, non-uniform learning rates cause a distortion in the vector field which can, in turn, change the rate of convergence and the shape of the region of attraction. The analysis is supported by numerical examples that illustrate different aspects of the theory. We conclude with discussion of the results and open questions.

연구 동기 및 목표

• 비균일 학습률을 가진 비협력 다중 에이전트 게임에서 기울기 기반 학습의 국소 수렴 보장을 확립하는 것.
• 비균일 학습률이 수렴 동역학과 흡인 영역의 형태에 미치는 영향을 분석하는 것.
• 오라클 기울기 접근이 가능한 결정론적 설정에서의 유한 시간 수렴 한계를 제공하는 것.
• 편향 없는 기울기 추정기와 함께 사용할 경우, 확률론적 설정에서 수렴에 대한 고확률 농도 한계를 유도하는 것.
• 균일 학습률을 넘어서 학습 동역학을 이해하고, 최적화에서의 조건화 효과와 연결하는 것.

제안 방법

• 다중 에이전트 학습을 n명의 플레이어로 구성된 연속 게임으로 모델링하며 기울기 플레이 역학을 사용: $ x_i^+ = x_i - \gamma_i g_i(x_i, x_{-i}) $.
• 결정론적 설정에서 수렴 행동을 특성화하기 위해 게임 자코비안의 최소 및 최대 특이값을 사용한다.
• 리아푸노프 기반 분석과 반복 오차 한계를 적용하여 결정론적 기울기 접근 조건 하에서의 유한 시간 수렴 보장을 유도한다.
• 마팅게일 농도 부등식과 확률론적 리아푸노프 분석을 사용하여 확률론적 설정에서의 고확률 수렴을 확립한다.
• 비균일 학습률이 수렴 속도와 흡인 영역에 미치는 영향을 설명하기 위해 벡터장 왜곡 모델을 도입한다.
• 수치 예제를 통해 이론적 결과를 검증하며, 연결된 리카티 방정식과 반복적 피드백 이득 계산을 포함한 LQ 게임을 포함한다.

실험 결과

연구 질문

• RQ1 비균일 학습률은 비협력 다중 에이전트 학습에서 수렴 속도와 흡인 영역에 어떤 영향을 미치는가?
• RQ2 결정론적 설정에서 비균일 학습률을 가진 기울기 기반 학습에 대해 어떤 유한 시간 수렴 보장을 확보할 수 있는가?
• RQ3 편향 없는 기울기 추정기와 함께 사용할 경우, 비균일 학습률을 가진 확률론적 기울기 기반 학습에 대해 고확률 농도 한계를 도출할 수 있는가?
• RQ4 비균일 학습률이 다중 에이전트 학습 동역학에서 얼마나 조건화 효과를 유도하는가?
• RQ5 학습률 이질성과 에이전트 간의 결합성이 학습 과정에서의 최종 행동과 비용 누적에 어떤 영향을 미치는가?

주요 결과

• 비균일 학습률은 게임 동역학의 벡터장에 왜곡을 유도하며, 이는 수렴 속도와 흡인 영역의 형태를 모두 변화시킨다.
• 결정론적 설정에서, 게임 자코비안의 특이값에 대한 한계를 사용하여 안정적인 국소 나이시 균형의 이웃으로의 유한 시간 수렴을 확립한다.
• 확률론적 설정에서 편향 없는 기울기 추정기를 사용할 경우, 높은 확률로 안정적인 국소 나이시 균형의 이웃으로의 수렴이 보장된다.
• 수렴 속도는 게임 자코비안의 최소 특이값과 최대 특이값의 비율에 영향을 받으며, 이는 게임의 구조에 민감함을 시사한다.
• 수치 결과, 특히 $ \gamma = 1.52 \times 10^{-5} $를 가진 LQ 게임를 포함하여, 비균일 학습률이 학습을 안정화시키고 수렴 행동을 향상시킬 수 있음을 확인한다.
• 분석 결과, 에이전트가 자신의 기울기를 내려가더라도 상호작용과 학습률 이질성의 영향으로 인해 국소 최대값으로 수렴할 수 있음을 밝혀내었다.