[논문 리뷰] On The Convergence of a Nash Seeking Algorithm with Stochastic State Dependent Payoff

Ahmed Farhan Hanif, Hamidou Tembiné외 2명|arXiv (Cornell University)|2012. 09. 30.

Extremum Seeking Control Systems참고 문헌 12인용 수 9

한 줄 요약

이 논문은 확률적이고 상태에 따라 변하는 보상이 있는 비협력 게임을 위한 분산 내쉬 균형 탐색 알고리즘을 제안한다. 사인파 간섭과 확률적 근사법을 사용하며, 점점 줄어드는 스텝 크기 조건 하에서 한정된 상수 미분방정식(OED) 궤적으로 거의 확실한 수렴성을 확립한다. 고정된 스텝 크기 조건 하에서는 오차 한계를 제공하며, 기존의 결정론적 기반 경사 하강법을 무선 네트워크 환경에서 노이즈가 있고 상태에 따라 변하는 환경으로 확장한다.

ABSTRACT

Distributed strategic learning has been getting attention in recent years. As systems become distributed finding Nash equilibria in a distributed fashion is becoming more important for various applications. In this paper, we develop a distributed strategic learning framework for seeking Nash equilibria under stochastic state-dependent payoff functions. We extend the work of Krstic et.al. in [1] to the case of stochastic state dependent payoff functions. We develop an iterative distributed algorithm for Nash seeking and examine its convergence to a limiting trajectory defined by an Ordinary Differential Equation (ODE). We show convergence of our proposed algorithm for vanishing step size and provide an error bound for fixed step size. Finally, we conduct a stability analysis and apply the proposed scheme in a generic wireless networks. We also present numerical results which corroborate our claim.

연구 동기 및 목표

• 확률적이고 상태에 따라 변하는 보상 함수를 가진 비협력 게임에서 내쉬 균형으로 수렴하는 분산 학습 알고리즘을 개발하는 것.
• 진짜 기울기 정보에 접근할 수 없는 상황에서, 오직 노이즈가 있는 표본 기반 보상 관측치만 이용 가능한 환경로에서 기존의 기울기 기반 내쉬 균형 탐색 방법을 확장하는 것.
• 최소한의 가정 하에서 이론적 수렴 성질을 확립하는 것—특히 스텝 크기가 0으로 수렴할 때 ODE의 해로 거의 확실한 수렴성과 고정된 스텝 크기 조건 하에서의 오차 한계.
• 일반적인 무선 네트워크 환경에서 알고리즘을 검증하고, 수치 결과를 통해 그 강건성을 입증하는 것.

제안 방법

• 진짜 기울기가 알려져 있지 않은 확률적이고 상태에 따라 변하는 환경에서 보상 함수의 기울기를 추정하기 위해 사인파 간섭을 사용한다.
• 시간에 따라 변화하는 스텝 크기를 사용하는 확률적 근사 프레임워크를 적용하여 행동의 진동을 노이즈가 있는 확률적 과정으로 모델링한다.
• 수렴 분석은 약한 수렴 이론에 기반하며, 스텝 크기가 0으로 수렴함에 따라 보간된 과정이 ODE의 해로 수렴함을 보여준다.
• 편향된 경로와 비편향된 경로 사이의 오차를 제한하기 위해 이산 과르다놀라 부등식과 버크홀더 부등식을 사용한다. 이는 안정성을 보장한다.
• 실제 적용에서의 탈출 가능성을 보장하기 위해 행동을 유한한 구간 내에 유지하기 위해 투영 연산자를 통합한다.
• 이론적 결과는 상태 공간의 컴act성과 보상 함수 및 그 기울기의 리프시츠 연속성에 대한 가정을 사용하여 유도된다.

실험 결과

연구 질문

• RQ1 진짜 기울기 정보에 접근할 수 없고 오직 노이즈가 있는 표본 기반 보상 관측치만 이용 가능한 상황에서 분산 내쉬 균형 탐색 알고리즘이 수렴할 수 있는가?
• RQ2 알고리즘이 점점 줄어드는 스텝 크기와 고정된 스텝 크기 조건에서 어떻게 행동하는가? 고정된 스텝 크기 조건 하에서 어떤 오차 한계를 확립할 수 있는가?
• RQ3 확률적 간섭 방법이 상태에 따라 변하는 노이즈가 있는 환경에서 한정된 ODE 궤적으로의 수렴을 보장하는가?
• RQ4 무선 네트워크 적용 사례에서 효과적 이득 행렬의 역행렬 가능성을 보장하는 조건은 무엇인가?
• RQ5 랜덤 채널 이득이 존재하는 현실적인 무선 네트워크 환경에서 알고리즘의 성능은 어떠한가?

주요 결과

• 스텝 크기가 0으로 수렴할 때, 제안된 알고리즘은 상수 미분방정식(OED)로 기술된 경로로 거의 확실하게 수렴한다.
• 고정된 스텝 크기 조건 하에서 알고리즘은 스텝 크기 λ에 대해 순서 O(√λ)의 오차 한계를 확보하며, 이는 λ → 0일 때 오차가 사라짐을 보여준다.
• 이론적 분석은 보간된 과정이 ODE의 해로 약한 수렴함을 확인하며, 버크홀더 부등식과 이산 과르다놀라 부등식에 의해 뒷받침된다.
• 행렬 Ḡ는 각 행에서 대각선 요소가 비대각선 요소들의 합보다 우세할 경우에 역행렬이 됨을 보여준다.
• 무선 네트워크 적용 사례에서의 수치 결과는 이론적 수렴성과 안정성을 확인하며, 확률적이고 상태에 따라 변하는 보상 조건 하에서도 강건한 성능을 보여준다.
• 행동가의 투영이 유한한 구간 [0, a_max]에 유지됨에 따라 알고리즘은 실현 가능하고 안정적이며, 실용적인 적용 가능성을 보장한다.