[논문 리뷰] Decentralized Online Learning for Noncooperative Games in Dynamic Environments

Min Meng, Xiuxian Li외 3명|arXiv (Cornell University)|2021. 05. 13.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 18

한 줄 요약

이 논문은 고정된 통신 그래프 위에서 미러 강하(mirror descent)와 원본-이중(primal-dual) 업데이트를 사용하여 시간에 따라 변화하는 비용 함수와 공유되는 제약 조건을 가진 비협력 게임을 위한 탈중앙화된 온라인 학습 알고리즘을 제안한다. 적절히 감소하는 단계 크기를 통해 하위선형 동적 위험도(dynamic regret)와 제약 위반을 달성하며, 전역 지식 없이도 동적 환경에서 강건한 평형 탐색을 가능하게 한다.

ABSTRACT

Decentralized online learning for seeking generalized Nash equilibrium (GNE) of noncooperative games in dynamic environments is studied in this paper. Each player aims at selfishly minimizing its own time-varying cost function subject to time-varying coupled constraints and local feasible set constraints. Only local cost functions and local constraints are available to individual players, who can receive their neighbors' information through a fixed and connected graph. In addition, players have no prior knowledge of cost functions and local constraint functions in the future time. In this setting, a novel distributed online learning algorithm for seeking GNE of the studied game is devised based on mirror descent and a primal-dual strategy. It is shown that the presented algorithm can achieve sublinearly bounded dynamic regrets and constraint violation by appropriately choosing decreasing stepsizes. Finally, the obtained theoretical result is corroborated by a numerical simulation.

연구 동기 및 목표

• 시간에 따라 변화하는 비용 함수와 결합된 제약 조건이 있는 비협력 게임에서 일반화된 내쉬 평형(GNE)을 찾는 데 도전 과제를 해결하기 위해.
• 플레이어가 미래의 비용 함수나 제약 조건 함수에 대한 사전 지식 없이 국소 데이터와 이웃 정보만을 이용하는 분산형 온라인 알고리즘을 설계하기 위해.
• 제한된 국소 정보와 시간에 따라 변화하는 정보에도 불구하고 동적 환경에서 GNE로 수렴하도록 보장하기 위해.
• 새로운 탈중앙화된 온라인 학습 프레임워크를 사용하여 동적 위험도와 제약 위반에 대한 이론적 경계를 수립하기 위해.

제안 방법

• 결합된 제약 조건을 처리하기 위해 결정 업데이트에 대해 미러 강하를 사용하고, 시간에 따라 변화하는 결합된 제약 조건을 다루기 위해 원본-이중 전략을 사용하는 분산형 온라인 알고리즘(알고리즘 1)을 설계하였다.
• 플레이어들은 고정된 연결된 통신 그래프 위에서 공식 기반 메커니즘을 통해 국소 비용 기울기와 이중 변수를 기반으로 결정을 업데이트한다.
• 동적 설정에서 탐색과 수렴의 균형을 이루기 위해 원본 및 이중 변수에 대해 감소하는 단계 크기를 사용한다.
• 미러 강하에서 Bregman 발산을 사용하여 투영 기반 방법의 일반화를 가능하게 하고, 제약 조건 및 결정 공간 설계의 유연성을 높인다.
• 이론적 분석은 리아푸노프 함수와 재귀 부등식을 활용하여 동적 위험도와 제약 위반을 경계한다.
• 원본-이중 업데이트 구조는 제약 조건이 시간에 따라 변화하더라도 제약 위반이 하위선형으로 증가함을 보장한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 온라인 학습 알고리즘이 시간에 따라 변화하는 비용 함수와 공유되는 제약 조건이 있는 비협력 게임에서 하위선형 동적 위험도를 달성할 수 있는가?
• RQ2 플레이어는 국소 정보와 이웃 간 통신만을 사용하여 어떻게 일반화된 내쉬 평형으로 수렴할 수 있는가?
• RQ3 미러 강하는 동적 게임에서 투영 기반 방법에 비해 적응성 향상에 어떤 역할을 하는가?
• RQ4 감소하는 단계 크기는 시간에 따라 변화하는 환경에서 위험도와 제약 위반 간의 상호 작용에 어떤 영향을 미치는가?
• RQ5 제안된 알고리즘은 미래의 비용 또는 제약 함수에 대한 지식 없이도 제약 위반을 유한하게 유지할 수 있는가?

주요 결과

• 적절히 감소하는 단계 크기를 사용할 경우 제안된 알고리즘은 동적 위험도가 O(T^{1/2})의 비율로 증가하는 하위선형 동적 위험도를 달성한다.
• 단계 크기를 적절히 감소시키면 제약 위반 또한 하위선형으로 증가하며, O(T^{1/2})로 경계된다.
• Bregman 발산을 사용한 미러 강하는 표준 투영 기반 방법에 비해 알고리즘의 유연성과 일반화 능력을 향상시킨다.
• 이론적 분석은 동적 위험도와 제약 위반이 미래 함수에 대한 사전 지식 없이도 시간에 따라 균일하게 경계됨을 확인한다.
• 수치 시뮬레이션은 이론적 결과를 검증하며, 시간에 따라 변화하는 역학 조건 하에서 일반화된 내쉬 평형으로 수렴하는 것을 보여준다.
• 알고리즘은 국소 비용 함수와 고정된 그래프를 통한 이웃 간 통신에만 의존하여 탈중앙화된 정보 환경에서도 성능을 유지한다.