[論文レビュー] Distributed Algorithms for Linearly-Solvable Optimal Control in Networked Multi-Agent Systems

Neng Wan, Aditya Gahlawat+3 more|arXiv (Cornell University)|Feb 18, 2021

Distributed Control Multi-Agent Systems参考文献 54被引用数 7

ひとこと要約

本稿では、通信制限と局所的観測情報のもとで、ネットワーク化されたマルチエージェントシステムにおける線形可解最適制御（LSOC）の分散アルゴリズムを提案する。各エージェントは、自身の局所的観測値と隣接エージェントの情報のみを用いて、局所的な制御方策を計算可能である。グローバル最適制御問題を局所的サブシステムに分解し、経路積分形式と相対エントロピー方策探索（REPS）を活用することで、離散時刻および連続時刻の両設定において、スケーラブルで通信効率が高く、最適な協調制御を実現する。

ABSTRACT

Distributed algorithms for both discrete-time and continuous-time linearly solvable optimal control (LSOC) problems of networked multi-agent systems (MASs) are investigated in this paper. A distributed framework is proposed to partition the optimal control problem of a networked MAS into several local optimal control problems in factorial subsystems, such that each (central) agent behaves optimally to minimize the joint cost function of a subsystem that comprises a central agent and its neighboring agents, and the local control actions (policies) only rely on the knowledge of local observations. Under this framework, we not only preserve the correlations between neighboring agents, but moderate the communication and computational complexities by decentralizing the sampling and computational processes over the network. For discrete-time systems modeled by Markov decision processes, the joint Bellman equation of each subsystem is transformed into a system of linear equations and solved using parallel programming. For continuous-time systems modeled by Itô diffusion processes, the joint optimality equation of each subsystem is converted into a linear partial differential equation, whose solution is approximated by a path integral formulation and a sample-efficient relative entropy policy search algorithm, respectively. The learned control policies are generalized to solve the unlearned tasks by resorting to the compositionality principle, and illustrative examples of cooperative UAV teams are provided to verify the effectiveness and advantages of these algorithms.

研究の動機と目的

• 通信制限と局所的情報に制限されたネットワーク化マルチエージェントシステムにおけるスケーラブルな最適制御の課題に対処する。
• グローバル最適制御問題を局所的サブシステムに分解することで、計算および通信のオーバーヘッドを低減する。
• 制御計算とサンプリングプロセスをネットワーク全体に分散させつつ、エージェント間の相関関係を保持する。
• 確率的ダイナミクスと部分的観測可能性の下で、線形可解最適制御（LSOC）をマルチエージェントシステムに拡張する。
• 合成性原理を用いて、学習済み方策を再訓練なしに未学習のタスクに一般化可能にする。

提案手法

• 各エージェントとその隣接エージェントを中心とする因子的サブシステムにマルチエージェントシステムを分割し、局所最適化を可能にする。
• 離散時刻系では、連合ベルマン方程式を並列プログラミングで解ける線形方程式系に変換する。
• 連続時刻系では、最適性方程式を線形偏微分方程式（PDE）に変換し、経路積分形式とサンプル効率の良い相対エントロピー方策探索（REPS）を用いて解く。
• 隣接エージェントの情報をもとに、局所的望ましさ値を反復的に更新する分散アルゴリズムを用い、グローバル最適性への収束を保証する。
• 合成性原理を適用し、再訓練なしに学習済み方策を新しいタスクに一般化する。
• 3つのアルゴリズムを実装する：(1) 線形方程式の解法による分散LSOC、(2) 経路積分推定を用いたサンプリングベースLSOC、(3) REPSに基づくLSOCによる方策最適化。

実験結果

リサーチクエスチョン

• RQ1 分散情報と通信制約のもとで、線形可解最適制御（LSOC）をどのようにマルチエージェントシステムに拡張できるか。
• RQ2 性能やエージェント間相関の損失なしに、連合最適制御問題を局所的サブシステムに効果的に分解できるか。
• RQ3 離散時刻および連続時刻の両設定において、スケーラブルで通信効率が高く、最適な制御を達成する分散アルゴリズムは何か。
• RQ4 合成性原理を用いて、学習済み制御方策を新しいタスクに一般化できるか。
• RQ5 経路積分法およびREPSベース手法は、分散LSOCにおけるサンプル効率と収束性をどの程度向上させるか。

主な発見

• 分散フレームワークは、グローバル最適制御問題を局所的サブシステムに効果的に分解し、計算および通信の複雑性を低減するとともに、エージェント間の相関関係を保持した。
• 離散時刻系では、連合ベルマン方程式が線形方程式系に変換され、並列処理により効率的に計算可能である。
• 連続時刻系では、経路積分形式が最適制御方策の解析的近似を提供し、REPSにより局所的観測値に基づくサンプル効率の良い方策学習が保証される。
• 提案されたアルゴリズムは、部分的観測性や通信制限がある状況下でも、集中型LSOC手法と同等の最適性能を達成する。
• 合成性原理により、再訓練を最小限に抑えながら、学習済み方策を新しいタスクに一般化可能であり、異なるシナリオ間での転送性が示された。
• 協調型ドローンチームを用いた実例により、分散LSOCアルゴリズムの有効性、スケーラビリティ、および耐障害性が確認された。