[논문 리뷰] Decentralized Convergence to Nash Equilibria in Constrained Mean Field Control.

Sergio Grammatico, Francesca Parise외 2명|arXiv (Cornell University)|2014. 10. 16.

Distributed Control Multi-Agent Systems참고 문헌 10인용 수 13

한 줄 요약

이 논문은 비균일한 에이전트로 구성된 대규모 인구 집단에서 볼록 제약 조건을 갖는 평균장 제어를 위한 탈중앙화된 반복적 방법을 제안하며, 인구 규모가 증가함에 따라 나시 균형에 수렴함을 보여준다. 이는 평균장 제어 이론을 제약 조건이 있는 설정으로 확장하여 선형 제곱 제어 및 전기자동차 충전 문제에의 적용 가능성을 입증한다.

ABSTRACT

This paper considers decentralized control and optimization methodologies for large populations of systems, consisting of several agents with different individual behaviors, constraints and interests, and affected by the aggregate behavior of the overall population. For such large-scale systems, the theory of “mean field” games and control has been successfully applied in various scientific disciplines. While the existing mean field control literature is limited to unconstrained problems, we formulate mean field problems in the presence of heterogeneous convex constraints at the level of individual agents, for instance arising from agents with linear dynamics subject to convex state and control constraints. We propose several iterative solution methods and show that, even in the presence of constraints, the mean field solution gets arbitrarily close to a mean field Nash equilibrium as the population size grows. We apply our methods to the constrained linear quadratic mean field control problem and to the constrained mean field charging control problem for large populations of plug-in electric vehicles.

연구 동기 및 목표

• 제약 조건이 있는 비균일한 에이전트를 갖는 평균장 제어 이론의 격차를 보완하기 위해.
• 개별 제약 조건이 존재하는 상황에서도 나시 균형으로 수렴하는 반복적이고 탈중앙화된 알고리즘을 개발하기 위해.
• 실제 문제들인 전기자동차 충전과 같은 상태 및 제어 제약 조건을 수반하는 문제들로 평균장 제어를 확장하기 위해.
• 볼록 제약 조건 하에서 제안된 방법의 수렴 성질을 엄밀하게 분석하기 위해.

제안 방법

• 각 에이전트가 상태 및 제어에 대해 비균일한 볼록 제약 조건을 갖는 제약 조건이 있는 평균장 제어 문제를 수립한다.
• 각 에이전트가 인구 집단의 평균장 행동에 기반해 전략을 갱신하는 반복적이고 탈중앙화된 알고리즘을 도입한다.
• 볼록 제약 조건을 처리하기 위해 이중 분해 기법을 사용하여 분산 계산을 가능하게 한다.
• 선형 제곱 제어 및 플러그인 전기자동차 충전이라는 두 가지 사례 연구에 방법을 적용한다.
• 나시 균형으로의 수렴을 분석하기 위해 변분부등식 프레임워크를 활용한다.
• 인구 규모가 증가함에 따라 평균장 해가 제약 조건이 존재하는 상황에서도 나시 균형에 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 비균일한 볼록 제약 조건이 있는 시스템에 대해 탈중앙화된 평균장 제어를 확장할 수 있는가?
• RQ2 제약 조건이 존재할 경우 반복적이고 탈중앙화된 알고리즘이 나시 균형으로 수렴하는가?
• RQ3 제약 조건의 존재가 평균장 제어의 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 상태 및 제어 제한 조건이 존재하는 실질적인 문제들, 예를 들어 전기자동차 충전 문제에 효과적으로 적용될 수 있는가?
• RQ5 제약 조건이 있는 평균장 제어에서 나시 균형으로의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 탈중앙화 알고리즘은 비균일한 볼록 제약 조건이 존재하는 상황에서도 인구 규모가 무한대에 가까워질수록 평균장 나시 균형으로 수렴함을 입증한다.
• 이 방법은 제약 조건이 없는 설정을 넘어서 상태 및 제어 제약 조건을 포함한 평균장 제어 이론을 성공적으로 확장한다.
• 선형 제곱 평균장 제어 문제의 경우, 제약 조건 하에서도 근사 최적 성능을 달성한다.
• 전기자동차 충전 응용 사례에서, 이 방법은 모든 차량이 개별 충전 제약 조건을 만족시키면서도 전체 시스템 비용을 최소화함을 보장한다.
• 이론적 분석을 통해 변분부등식 프레임워크를 통해 수렴성을 확인하였으며, 극한에서 나시 균형의 존재를 입증한다.
• 수치 결과는 다양한 에이전트 행동을 수반한 대규모 설정에서 이 방법의 강인성과 확장 가능성을 입증한다.