[論文レビュー] Deep Structured Teams with Linear Quadratic Model: Partial Equivariance and Gauge Transformation

Jalal Arabneydi, Amir G. Aghdam|arXiv (Cornell University)|Dec 9, 2019

Distributed Control Multi-Agent Systems参考文献 20被引用数 9

ひとこと要約

本稿では、線形二次型ダイナミクスを有するディープ構造的チームを導入し、部分的等長性およびゲージ変換を活用することで、大規模な分散制御のための低複雑性でスケーラブルな解決策を提示する。深層状態共有下では閉形式の最適戦略を提示し、部分的深層状態共有下では準最適戦略を提示するが、いずれのケースにおいても計算複雑性はチームサイズに依存せず、エージェント数が増加するに従い情報とロバストネスの価格が0に収束する。

ABSTRACT

Motivated by the recent developments in artificial intelligence, we introduce linear quadratic deep structured teams in this paper. Two notions of equivariant and partially equivariant systems are defined, and it is shown that such systems can be partitioned into a few sub-populations of decision makers, where every decision maker in each sub-population is coupled in both dynamics and cost function through a set of linear regressions of the states and actions of all decision makers. Two non-classical information structures are considered: deep-state sharing and partial deep-state sharing, where deep state refers to the linear regression of the states of the decision makers in each sub-population. For a risk-sensitive cost function with deep-state sharing structure, a closed-form low-complexity representation of the globally optimal strategy is obtained, whose computational complexity is independent of the number of decision makers in each sub-population. In addition, it is shown that the risk-sensitive solution converges to the risk-neutral one as the number of decision makers increases to infinity. Moreover, two sub-optimal sequential strategies under partial deep-state sharing information structure are proposed by introducing two Kalman-like filters, one based on the finite-population model and the other one based on the infinite-population model. It is proved that the prices of information associated with the above sub-optimal solutions converge to zero as the number of decision makers goes to infinity. Furthermore, a class of feed-forward deep neural networks with multiple layers of weighted sums and products is introduced wherein the optimal weights and biases are explicitly obtained. A supply-chain management example is presented to demonstrate the efficacy of the obtained results.

研究の動機と目的

• 限られた通信とプライバシー制約といった実用的制約のもとで、多数の相互接続された意思決定者が関与する大規模なネットワーキングシステムにおける分散制御の課題に取り組む。
• 連続的な状態と制御入力を有するチームにおける線形二次制御問題のスケーラブルなフレームワークを、ディープニューラルネットワークアーキテクチャにインspiredして開発する。
• 非古典的情報構造としての深層状態共有と部分的深層状態共有の下で、最適制御戦略を定式化し、解法を提示する。
• 意思決定者の数が増加する際の、提案手法のスケーラビリティおよび収束特性を示す。
• ディープ構造的チームとディープフィードフォワードニューラルネットワークとの間の理論的関連性を確立し、最適重みおよびバイアスの明示的計算を示す。

提案手法

• 意思決定者が部分的に等長性を持つサブ集団にグループ化され、状態と制御入力の線形回帰によって結合される、等長性および部分的等長性を持つシステムを定義する。
• 2つの情報構造を導入する：深層状態共有（状態の線形回帰への完全なアクセス）と部分的深層状態共有（そのような回帰への制限付きアクセス）。
• ゲージ変換と特化したアンザッツを適用することで、ハミルトニアン・ジョルダン・ベルマン方程式を低次元のリカッチ方程式系に簡略化し、局所的およびグローバルなリカッチ方程式から成る。
• 深層状態共有下で、計算複雑性がサブ集団サイズに依存しない閉形式のグローバル最適戦略を導出する。
• カルマンフィルタに類似した2つの準最適逐次戦略を提案する—1つは有限集団近似に基づき、もう1つは無限集団近似に基づく。
• 意思決定者の数が無限大に近づくに従い、情報の価格およびロバストネスの価格が0に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 制限付き情報のもとで、結合されたダイナミクスとコスト関数を持つ多数の意思決定者からなるチームにおいて、最適制御をどのように達成できるか？
• RQ2 意思決定者が深層状態（状態の重み付き平均）と制御入力を共有する場合、最適解の構造はどのようなものか？
• RQ3 提案手法のスケーラビリティは意思決定者の数にどのように依存するか？ また、その複雑性をチームサイズに依存させない形にできるか？
• RQ4 部分的深層状態共有下での準最適戦略のパフォーマンス保証は何か、特に大規模チームの極限においては？
• RQ5 提案フレームワークは、構造的およびパrameter最適化の観点から、どの程度ディープニューラルネットワークアーキテクチャと関連づけられるか？

主な発見

• 深層状態共有構造下では、サブ集団内での意思決定者の数に依存しない閉形式のグローバル最適戦略が導出された。
• リスクセンシティブな最適解は、意思決定者の数が無限大に近づくに従い、リスクニュートラルな解に収束する。
• 有限集団および無限集団に基づく2つの準最適戦略における情報の価格は、意思決定者の数が無限大に近づくに従い0に収束する。
• 提案フレームワークにより、低次元のリカッチ方程式の解法を通じて明示的に計算可能な最適重みおよびバイアスを持つフィードフォワードディープニューラルネットワークのクラスが得られる。
• サプライチェーン管理の例は、最適戦略が、非対称な影響要因が存在する中でも、サプライヤーの生産とディストリビューターの流通を効果的に一致させることを示している。
• 理論的枠組みにより、ディープ構造的チームとディープフィードフォワードニューラルネットワークとの間で、特に層間の重み付き和および積の使用という点で、直接的な構造的および計算的類似性が確立された。