[논문 리뷰] A Study of Gradient Descent Schemes for General-Sum Stochastic Games

H. L. Prasad, Shalabh Bhatnagar|arXiv (Cornell University)|2015. 07. 01.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 4

한 줄 요약

이 논문은 일반합계 스토케스틱 게임을 비볼록이고 제약 조건이 있는 최적화 문제로 공식화하여 일반합계 스토케스틱 게임을 해결하기 위한 경사하강법 기법을 제안한다. 비선형 목표 함수와 비선형 제약 조건을 가진다. 표준 경사하강법은 KKT 점으로 수렴하지만, 오직 전단계 조건(전단계 조건을 만족하는 KKT 점, 즉 KKT-N 점)을 만족하는 KKT 점만이 내쉬 균형에 해당하며, 따라서 추가적인 구조적 가정 없이 내쉬 균형으로의 수렴은 보장되지 않는다.

ABSTRACT

Zero-sum stochastic games are easy to solve as they can be cast as simple Markov decision processes. This is however not the case with general-sum stochastic games. A fairly general optimization problem formulation is available for general-sum stochastic games by Filar and Vrieze [2004]. However, the optimization problem there has a non-linear objective and non-linear constraints with special structure. Since gradients of both the objective as well as constraints of this optimization problem are well defined, gradient based schemes seem to be a natural choice. We discuss a gradient scheme tuned for two-player stochastic games. We show in simulations that this scheme indeed converges to a Nash equilibrium, for a simple terrain exploration problem modelled as a general-sum stochastic game. However, it turns out that only global minima of the optimization problem correspond to Nash equilibria of the underlying general-sum stochastic game, while gradient schemes only guarantee convergence to local minima. We then provide important necessary conditions for gradient schemes to converge to Nash equilibria in general-sum stochastic games.

연구 동기 및 목표

• 제로합 게임에 비해 해석이 용이한 구조를 갖지 못하는 일반합계 스토케스틱 게임 해결의 과제를 다루기 위해.
• 일반합계 스토케스틱 게임을 기울기와 정의된 해를 갖는 비볼록이고 제약 조건이 있는 최적화 문제로 공식화하기 위해.
• 비볼록성과 부정적 목표 함수에도 불구하고 타당한 검색 방향과 최적의 스텝 길이를 보장하는 경사하강법 기법을 개발하기 위해.
• 기울기 기반 방법이 내쉬 균형으로 수렴하는 데 필요한 조건을 규명하기 위해.
• 이러한 게임에서 표준 경사하강 기법이 내쉬 균형으로의 수렴을 보장하는 데에 한계가 있음을 분석하기 위해.

제안 방법

• Filar과 Vrieze(2004)에 기반하여 일반합계 스토케스틱 게임을 비볼록이고 비선형 목표 함수, 선형 제약 조건이 있는 최적화 문제로 공식화한다.
• 각 반복 단계에서 활성 및 비활성 제약 조건을 고려하여 타당한 검색 방향을 계산하는 경사하강법 기법을 구성한다.
• 후진 검색(backtracking)을 사용하여 최적의 스텝 길이를 결정하고, 민감도 함수의 충분한 감소를 보장한다.
• 상태-행동 공간의 희소성(sparse)을 활용하여 행렬 역행렬 계산 단계에서 수치적 효율성을 향상시킨다.
• 카라슈-쿤-터커(Karush-Kuhn-Tucker, KKT) 조건을 활용하여 잠재적 해를 특성화하며, KKT-N 점을 식별하는 데 중점을 둔다.
• KKT-N 조건 도입: KKT 점이 내쉬 균형이 되기 위해서는 해당 점에서 행렬 $ G' = G_K^T(I - G_I(G_I^T G_I)^{-1}G_I^T)G_K $ 가 전단계여야 한다.

실험 결과

연구 질문

• RQ1 표준 경사하강법 기법이 일반합계 스토케스틱 게임에서 내쉬 균형으로 신뢰성 있게 수렴할 수 있는가?
• RQ2 최적화 문제의 KKT 점이 내쉬 균형에 해당하기 위해 만족해야 할 조건은 무엇인가?
• RQ3 KKT 점으로 수렴함에도 불구하고 기울기 기반 방법이 내쉬 균형으로의 수렴을 보장하지 못하는 이유는 무엇인가?
• RQ4 비볼록성과 비선형 제약 조건을 포함한 최적화 문제의 구조가 수렴 행동에 어떤 영향을 미치는가?
• RQ5 일반합계 스토케스틱 게임에서 기울기 기반 알고리즘이 내쉬 균형으로 수렴함을 보장할 수 있는 조건은 무엇인가?

주요 결과

• 제안된 경사하강법 기법은 토양 탐색 문제에 대한 시뮬레이션에서 KKT 점으로 수렴하는 것으로 확인되어 실용성에서의 타당성을 입증하였다.
• 최적화 문제의 전역 최소값에만 내쉬 균형이 해당되지만, 기울기 기반 방법은 국소 최소값으로의 수렴만 보장한다.
• KKT 점이 내쉬 균형이 되기 위한 필요충분조건은 행렬 $ G' $ 가 전단계여야 한다는 것인데, 이를 KKT-N 조건이라 한다.
• 최적화 문제의 모든 KKT 점이 KKT-N 점이라면, 어떤 기울기 기반 알고리즘도 내쉬 균형으로 수렴하게 된다.
• 비-KKT-N 점이 존재하는 경우, 내쉬 균형으로의 수렴은 보장되지 않으며, 이는 표준 경사하강 기법의 근본적인 한계를 드러낸다.
• KKT-N 조건은 보상 함수, 전이 확률, 가치 함수, 전략, 활성 제약 조건 집합에 대해 비선형적으로 의존하므로 사전에 확인하기 어렵다.