[論文レビュー] Linear Quadratic Mean Field Teams: Optimal and Approximately Optimal Decentralized Solutions

Jalal Arabneydi, Aditya Mahajan|arXiv (Cornell University)|Aug 31, 2016

Advanced Optimization Algorithms Research参考文献 3被引用数 21

ひとこと要約

本稿では、状態と制御入力の平均場に依存する大規模な分散型システムにおいて、交換可能なエージェントを有する場合、線形制御戦略がチーム最適であることを確立している。平均場を完全に観測する場合には線形解が最適であり、部分的観測の下では近似的に最適であり、近似誤差は部分的に観測されないサブ集団のサイズに反比例する。問題は、エージェント数に依存しないK+1個の独立したリカチ方程式を用いて解かれる。

ABSTRACT

We consider team optimal control of decentralized systems with linear dynamics, quadratic costs, and arbitrary disturbance that consist of multiple sub-populations with exchangeable agents (i.e., exchanging two agents within the same sub-population does not affect the dynamics or the cost). Such a system is equivalent to one where the dynamics and costs are coupled across agents through the mean-field (or empirical mean) of the states and actions (even when the primitive random variables are non-exchangeable). Two information structures are investigated. In the first, all agents observe their local state and the mean-field of all sub-populations, in the second, all agents observe their local state but the mean-field of only a subset of the sub-populations. Both information structures are non-classical and not partially nested. Nonetheless, it is shown that linear control strategies are optimal for the first and approximately optimal for the second, the approximation error is inversely proportional to the size of the sub-populations whose mean-fields are not observed. The corresponding gains are determined by the solution of K+1 decoupled standard Riccati equations, where K is the number of sub-populations. The dimensions of the Riccati equations do not depend on the size of the sub-populations, thus the solution complexity is independent of the number of agents. Generalizations to major-minor agents, tracking cost, weighted mean-field, and infinite horizon are provided. The results are illustrated using an example of demand response in smart grids.

研究の動機と目的

• 交換可能なエージェントと平均場結合を有する大規模な分散型システムにおけるチーム最適制御を扱う。
• エージェントが制限された情報、特にサブ集団の平均場への部分的アクセスを持つ場合のシステムを分析する。
• 非古典的情報構造下でも、線形制御戦略が最適または近似的に最適となる条件を確立する。
• エージェント数に依存しないスケーラブルな解法手法を、独立したリカチ方程式を用いて開発する。
• 結果をマジョリティ・ミニオリティエージェント構造、トラッキングコスト、重み付き平均場、無限時間ホライズン設定に一般化する。

提案手法

• 線形ダイナミクス、二次コスト、任意の摂動を有するチーム意思決定問題としてシステムをモデル化する。
• サブ集団内でのエージェントの交換可能性を用いて、原始変数が交換可能でない場合ですら、平均場結合に問題を簡略化する。
• 二つの情報構造を分析する：全平均場観測とサブ集団間での部分的平均場観測。
• 全平均場が観測される場合、チーム問題の構造を活用して線形制御戦略が最適であることを証明する。
• 未観測サブ集団のサイズに反比例する形で誤差を評価することにより、部分観測下での近似的最適性を導出する。
• Kはサブ集団数であるが、K+1個の独立した標準リカチ方程式を用いて問題を解き、計算のスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散情報を持つ大規模な平均場チーム問題において、線形制御戦略がチーム最適となる条件は何か？
• RQ2 部分的平均場観測は線形戦略の最適性にどのように影響し、その定量的近似誤差は何か？
• RQ3 各サブ集団内のエージェント数に依存しない解法の複雑度を実現できるか？
• RQ4 マジョリティ・ミニオリティエージェント構造およびトラッキングコストの定式化への結果の拡張はどのように行われるか？
• RQ5 平均場は、大規模な分散型システムにおけるスケーラブルな解法を可能にする役割を果たすか？

主な発見

• 全エージェントがすべてのサブ集団の平均場を観測する場合、線形制御戦略はチーム最適である。
• 部分的平均場観測の下では、線形戦略は近似的に最適であり、近似誤差は未観測サブ集団のサイズに反比例する。
• 解法にはK+1個の独立したリカチ方程式が必要であり、Kはサブ集団数であり、各リカチ方程式の次元はエージェント数に依存しない。
• したがって、計算の複雑度は全エージェント数に依存せず、大規模システムへのスケーラビリティが保証される。
• マジョリティ・ミニオリティエージェント、トラッキングコスト、重み付き平均場への一般化が提供され、同じ構造的解法フレームワークを維持する。
• スマートグリッド需給応答の例により、理論的枠組みの実用的適用可能性が示されている。