[논문 리뷰] Competitive Gradient Descent

Florian Schaefer, Anima Anandkumar|arXiv (Cornell University)|2019. 12. 01.

Stochastic Gradient Optimization Techniques인용 수 35

한 줄 요약

이 논문은 경쟁적 두 명의 플레이어 게임의 내림값 균형을 계산하기 위해 국소 동역학의 정규화된 이차형 근사값을 해결하는 새로운 알고리즘인 경쟁적 경사 하강법(CGD)을 제안한다. 이 알고리즘은 볼록-볼록형 제로섬 게임에서 지수적 국소 수렴을 달성하고 비볼록-볼록 설정에서 발산을 피하며, 단계 크기 조정 없이 강한 플레이어 상호작용에 대해 안정적이므로 낙관주의 및 공감 기반 방법보다 뛰어나다.

ABSTRACT

We introduce a new algorithm for the numerical computation of Nash equilibria of competitive two-player games. Our method is a natural generalization of gradient descent to the two-player setting where the update is given by the Nash equilibrium of a regularized bilinear local approximation of the underlying game. It avoids oscillatory and divergent behaviors seen in alternating gradient descent. Using numerical experiments and rigorous analysis, we provide a detailed comparison to methods based on \emph{optimism} and \emph{consensus} and show that our method avoids making any unnecessary changes to the gradient dynamics while achieving exponential (local) convergence for (locally) convex-concave zero sum games. Convergence and stability properties of our method are robust to strong interactions between the players, without adapting the stepsize, which is not the case with previous methods. In our numerical experiments on non-convex-concave problems, existing methods are prone to divergence and instability due to their sensitivity to interactions among the players, whereas we never observe divergence of our algorithm. The ability to choose larger stepsizes furthermore allows our algorithm to achieve faster convergence, as measured by the number of model evaluations.

연구 동기 및 목표

• 경쟁적 두 명의 플레이어 게임에서 교대 경사 하강법에서 흔히 발생하는 불안정성과 발산 문제를 해결하기 위해.
• 강한 플레이어 상호작용 하에서 단계 크기 조정 없이도 안정적이고 수렴 가능한 동역학을 유지하는 방법을 개발하기 위해.
• 국소 게임 동역학을 정규화된 이차형 근사로 모델링하여 경사 하강법을 두 명의 플레이어 설정으로 일반화하기 위해.
• 특히 비볼록-볼록 설정에서 낙관주의 및 공감 기반 방법에 대한 강력한 대안을 제공하기 위해.
• 기울기 동역학에 불필요한 변화를 가하지 않으면서도 더 큰 안정적인 단계 크기를 통해 더 빠른 수렴을 달성하기 위해.

제안 방법

• 해당 방법은 각 반복에서 국소 게임 동역학의 정규화된 이차형 근사값의 내림값 균형을 계산한다.
• 표준 경사 하강 업데이트를 두 플레이어의 기울기와 상호작용을 고려한 공동 최적화 업데이트로 대체한다.
• 게임의 국소 구조를 근사하는 정규화된 최소화-최대화 문제를 해결함으로써 업데이트 규칙을 유도한다.
• 정규화는 교대 경사 하강법에서 관찰되는 진동 행동을 방지하고 안정성을 보장한다.
• 강한 상호작용 영역에서 단계 크기 선택에 대해 불변성을 갖도록 설계되어 강건성을 향상시킨다.
• 필요한 경우가 아니면 원래의 기울기 동역학을 유지하여 불필요한 수정을 방지한다.

실험 결과

연구 질문

• RQ1 두 명의 플레이어 기반 경사 하강 방법이 단계 크기 조정 없이도 경쟁적 환경에서 안정적이고 수렴 가능한 행동을 달성할 수 있는가?
• RQ2 이러한 방법이 낙관주의 및 공감 기반 접근법과 비교할 때 수렴성과 안정성 측면에서 어떻게 다른가?
• RQ3 이 방법은 (국소적으로) 볼록-볼록형 제로섬 게임에서 지수적 국소 수렴을 유지하는가?
• RQ4 이미 존재하는 방법이 실패하는 비볼록-볼록 게임에서 이 방법은 발산을 피할 수 있는가?
• RQ5 이 방법은 안정성에 영향을 주지 않으면서 얼마나 큰 단계 크기를 허용할 수 있는가?

주요 결과

• 제안된 경쟁적 경사 하강법은 (국소적으로) 볼록-볼록형 제로섬 게임에서 지수적 국소 수렴을 달성한다.
• 강한 플레이어 상호작용 하에서도 단계 크기 조정 없이도 안정적이고 수렴 가능한 동역학을 유지한다.
• 비볼록-볼록 설정에서는 기존 방법이 자주 발산하는 데 반해, 이 알고리즘은 결코 발산하지 않는다.
• 이전 방법보다 더 큰 단계 크기를 허용하여 모델 평가 측면에서 더 빠른 수렴을 이끈다.
• 기울기 동역학에 불필요한 수정을 방지하여 게임의 본질적 행동을 유지한다.
• 수치 실험을 통해 낙관주의 및 공감 기반 방법보다 뛰어난 안정성과 수렴 속도를 확인했다.