[논문 리뷰] Payoff-Based Approach to Learning Generalized Nash Equilibria in Convex Games

Tatiana Tatarenko, Maryam Kamgarpour|arXiv (Cornell University)|2017. 03. 12.

Game Theory and Applications참고 문헌 29인용 수 4

한 줄 요약

이 논문은 컴act한 볼록 제약 집합을 가진 볼록 게임에서 일반화된 내쉬 균형(GNE)을 학습하기 위한 분산형, 수익 기반 알고리즘을 제안한다. 에이전트들은 이중 승수와 함께 국소적인 비용 함수 및 제약 함수 값만을 사용하며, стрict하게 볼록한 잠재함수 조건 하에서 GNE 수렴을 달성한다. 결합 제약 조건이 없는 경우, 게임 매핑의 엄격한 단조성 조건 하에서도 수렴이 성립하며, 강한 단조성 매핑에 대해 수렴 속도가 확립되어 있다.

ABSTRACT

We consider multi-agent decision making where each agent optimizes its convex cost function subject to individual and coupling constraints. The constraint sets are compact convex subsets of a Euclidean space. To learn Nash equilibria, we propose a novel distributed payoff-based algorithm, such that each agent uses information only about its cost function values and the constraint function values with their associated dual multiplier. We prove convergence of this algorithm to a Nash equilibrium, under the assumption that the game admits a strictly convex potential function. In the absence of coupling constraints, we prove convergence to Nash equilibria under significantly weaker assumptions, not requiring a potential function. Namely, strict monotonicity of the game mapping is sufficient for convergence. We also derive the convergence rate of the algorithm for strongly monotone game maps.

연구 동기 및 목표

• 에이전트들이 수익 및 제약 정보만을 사용하여 분산 학습 알고리즘을 개발하여 일반화된 내쉬 균형(GNE)으로 수렴하도록 하는 것.
• 전체 기울기 또는 오라클 액세스에 대한 의존도를 줄이기 위해 비용 함수 및 제약 함수 값과 이중 승수만을 사용하는 것.
• 이전 연구보다 더 약한 가정 하에서도 GNE로의 수렴을 확립하는 것, 특히 결합 제약 조건이 없는 경우에 중점을 두는 것.
• 게임 매핑의 강한 단조성 조건 하에서 수렴 속도를 분석하여 더 넓은 범주로의 적용 가능성을 확장하는 것.

제안 방법

• 각 에이전트가 관측한 비용 함수 값과 제약 함수 값, 이중 승수를 기반으로 전략을 업데이트하는 분산 수익 기반 알고리즘 설계.
• 기울기 계산 없이 함수 평가만을 사용하는 프로젝션 기반 기울기 유형의 업데이트 규칙 적용.
• 게임 내의 결합 제약 조건을 강제로 만족시키기 위해 이중 승수 업데이트 메커니즘 도입.
• 수렴 분석을 위해 잠재함수 개념을 활용하여, 잠재함수의 엄격한 볼록성 조건이 GNE로의 수렴을 보장함을 증명.
• 결합 제약 조건이 없는 경우 게임 매핑의 엄격한 단조성 조건 하에서 수렴을 확립하기 위해 연산자 이론의 단조성 이론 적용.
• 게임 매핑이 강한 단조성일 경우, 리아푸노프 분석 및 연산자 이론 도구를 사용하여 알고리즘의 수렴 속도 유도.

실험 결과

연구 질문

• RQ1 결합 제약 조건이 있는 볼록 게임에서 분산 수익 기반 알고리즘이 일반화된 내쉬 균형으로 수렴할 수 있는가?
• RQ2 GNE로의 수렴을 보장하기 위해 필요한 최소한의 정보 요구사항(예: 비용 및 제약 함수 값만)은 무엇인가?
• RQ3 엄격히 볼록한 잠재함수가 존재할 경우, 제안된 수익 기반 알고리즘이 수렴을 보장하는가?
• RQ4 잠재함수가 존재하지 않는 경우, 게임 매핑의 엄격한 단조성과 같은 더 약한 가정 하에서도 수렴을 확립할 수 있는가?
• RQ5 게임 매핑이 강한 단조성일 경우 알고리즘의 수렴 속도는 어떻게 되는가?

주요 결과

• 게임가 엄격히 볼록한 잠재함수를 가진다면, 제안된 수익 기반 알고리즘이 일반화된 내쉬 균형(GNE)으로 수렴한다.
• 결합 제약 조건이 없는 경우, 게임 매핑의 엄격한 단조성 조건 하에서 내쉬 균형으로의 수렴이 보장된다.
• 게임 매핑이 강한 단조성일 경우 선형 수렴 속도를 달성하여 유리한 조건 하에서 빠른 수렴을 보인다.
• 알고리즘은 최소한의 정보—비용 함수 값과 제약 함수 값, 이중 승수만—을 사용하여 분산 환경에서 실용적으로 적용 가능하다.
• 수렴 증명은 연산자 이론적 도구와 리아푸노프 분석에 기반하여, 컴팩트한 볼록 제약 집합 조건 하에서도 강건성을 확보한다.
• 이 프레임워크는 기존의 수익 기반 학습 방법을 결합 제약 조건이 있는 게임로 확장하여, 제약 조건이 있는 다에이전트 최적화 문제로의 적용 범위를 넓힌다.