[논문 리뷰] Linear Quadratic Mean Field Teams: Optimal and Approximately Optimal Decentralized Solutions

Jalal Arabneydi, Aditya Mahajan|arXiv (Cornell University)|2016. 08. 31.

Advanced Optimization Algorithms Research참고 문헌 3인용 수 21

한 줄 요약

이 논문은 동일한 에이전트를 가진 대규모 분산 시스템에서 동적 및 비용이 상태 및 행동의 평균장에 의존할 경우 선형 제어 전략이 팀 최적임을 입증한다. 전체 평균장 관측 하에서 선형 해가 최적임을 증명하고, 부분 관측 하에서는 근사적으로 최적임을 보이며, 근사 오차는 하위집단 크기와 반비례한다. 문제는 에이전트 수와 무관하게 K+1개의 분리된 리카티 방정식을 통해 해결된다.

ABSTRACT

We consider team optimal control of decentralized systems with linear dynamics, quadratic costs, and arbitrary disturbance that consist of multiple sub-populations with exchangeable agents (i.e., exchanging two agents within the same sub-population does not affect the dynamics or the cost). Such a system is equivalent to one where the dynamics and costs are coupled across agents through the mean-field (or empirical mean) of the states and actions (even when the primitive random variables are non-exchangeable). Two information structures are investigated. In the first, all agents observe their local state and the mean-field of all sub-populations, in the second, all agents observe their local state but the mean-field of only a subset of the sub-populations. Both information structures are non-classical and not partially nested. Nonetheless, it is shown that linear control strategies are optimal for the first and approximately optimal for the second, the approximation error is inversely proportional to the size of the sub-populations whose mean-fields are not observed. The corresponding gains are determined by the solution of K+1 decoupled standard Riccati equations, where K is the number of sub-populations. The dimensions of the Riccati equations do not depend on the size of the sub-populations, thus the solution complexity is independent of the number of agents. Generalizations to major-minor agents, tracking cost, weighted mean-field, and infinite horizon are provided. The results are illustrated using an example of demand response in smart grids.

연구 동기 및 목표

• 교환 가능한 에이전트와 평균장 결합이 있는 대규모 분산 시스템에서 팀 최적 제어를 다루기.
• 에이전트가 제한된 정보를 가진 시스템을 분석하기 — 특히 하위집단의 평균장을 부분적으로 접근 가능하게 하는 경우.
• 비고전적 정보 구조 하에서도 선형 제어 전략이 최적 또는 근사적으로 최적일 수 있는 조건을 확립하기.
• 에이전트 수와 무관하게 작동하는 분리된 리카티 방정식을 통한 확장 가능한 해법 개발하기.
• 주-소 에이전트 구조, 추적 비용, 가중 평균장 및 무한 시간 영역 설정으로 결과를 일반화하기.

제안 방법

• 선형 동역학, 이차 비용 및 임의의 외란을 가진 팀 결정 문제로 시스템 모델링하기.
• 하위집단 내 에이전트의 교환 가능성을 활용해, 원시 변수가 교환 가능하지 않더라도 평균장 결합으로 문제를 단순화하기.
• 두 가지 정보 구조 분석: 전체 평균장 관측과 하위집단 간 부분 평균장 관측.
• 모든 평균장을 관측할 경우 선형 제어 전략이 최적임을 증명하며, 팀 문제의 구조를 활용하기.
• 관측되지 않은 하위집단의 크기와 반비례하는 오차로 부분 관측 하에서의 근사 최적성 유도하기.
• K는 하위집단 수이며, K+1개의 분리된 표준 리카티 방정식을 통해 문제 해결하기 — 에이전트 수와 무관하게 계산의 확장성 확보하기.

실험 결과

연구 질문

• RQ1 대규모 평균장 팀 문제에서 분산 정보 구조 하에서 선형 제어 전략이 팀 최적일 수 있는 조건은 무엇인가?
• RQ2 부분 평균장 관측은 선형 전략의 최적성에 어떤 영향을 미치며, 그 정량적 근사 오차는 무엇인가?
• RQ3 해결의 복잡도를 각 하위집단의 에이전트 수에서 분리시킬 수 있는가?
• RQ4 주-소 에이전트 구조 및 추적 비용 설정으로 결과를 어떻게 일반화할 수 있는가?
• RQ5 평균장은 대규모 분산 시스템에서 확장 가능한 해법을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 모든 에이전트가 모든 하위집단의 평균장을 관측할 경우 선형 제어 전략이 팀 최적임.
• 부분 평균장 관측 하에서는 선형 전략이 근사적으로 최적이며, 근사 오차는 관측되지 않은 하위집단의 크기와 반비례함.
• 해결에는 K+1개의 분리된 리카티 방정식이 필요하며, 여기서 K는 하위집단 수이며, 각 리카티 방정식의 차원은 에이전트 수와 무관함.
• 계산 복잡도는 총 에이전트 수와 독립적이므로 대규모 시스템으로의 확장이 가능함.
• 주-소 에이전트, 추적 비용, 가중 평균장으로의 일반화가 가능하며, 동일한 구조적 해법 프레임워크 유지함.
• 스마트 그리드 수요 반응 예시를 통해 이론적 프레임워크의 실용적 적용 가능성을 시연함.