[論文レビュー] Leader-Based Optimal Coordination Control for the Consensus Problem of Multiagent Differential Games via Fuzzy Adaptive Dynamic Programming

Huaguang Zhang, Jilie Zhang+2 more|arXiv (Cornell University)|Nov 30, 2017

Adaptive Dynamic Programming Control参考文献 39被引用数 6

ひとこと要約

本稿では、ファジィ適応動的プログラミング（FADP）を用いて、マルチエージェント微分ゲームにおけるリーダー主導の最適協調制御方式を提案する。単一の一般化ファジィハイパボリックモデル（GFHM）を用いて価値関数を近似し、ポリシー反復を用いて連立ヘイムイルホフ方程式を解くことで、アクションネットワークの必要性を排除する。本手法は、一様最終有界（UUB）な協調誤差および協調的一様最終有界（CUUB）な制御軌道を保証し、安定性が解析的に証明されている。

ABSTRACT

In this paper, a new on-line scheme is presented to design the optimal coordination control for the consensus problem of multi-agent differential games by fuzzy adaptive dynamic programming (FADP), which brings together game theory, generalized fuzzy hyperbolic model (GFHM) and adaptive dynamic programming. In general, the optimal coordination control for multi-agent differential games is the solution of the coupled Hamilton-Jacobi (HJ) equations. Here, for the first time, GFHMs are used to approximate the solution (value functions) of the coupled HJ equations, based on policy iteration (PI) algorithm. Namely, for each agent, GFHM is used to capture the mapping between the local consensus error and local value function. Since our scheme uses the single-network rchitecture for each agent (which eliminates the action network model compared with dual-network architecture), it is a more reasonable architecture for multi-agent systems. Furthermore, the approximation solution is utilized to obtain the optimal coordination controls. Finally, we give the stability analysis for our scheme, and prove the weight estimation error and the local consensus error are uniformly ultimately bounded. Further, the control node trajectory is proven to be cooperative uniformly ultimately bounded.

研究の動機と目的

• エージェントが個々の性能指標を最小化しつつ、協調を達成するマルチエージェントシステムにおける最適協調制御問題に対処すること。
• マルチエージェント微分ゲームにおける連立ヘイムイルホフ（HJ）方程式を解く際の計算的困難さを克服すること。
• 二重ネットワーク構造を単一のGFHMベースの近似器に置き換えることで、より効率的で安定した制御アーキテクチャを構築すること。
• 厳密な理論的分析を通じて、協調誤差および制御軌道の安定性を保証すること。
• ファジィ論理と適応的動的プログラミングを統合し、物理的解釈が明確な価値関数の近似を改善すること。

提案手法

• マルチエージェント微分ゲームの文脈において、制御ポリシーと価値関数近似を反復的に更新するためのポリシー反復（PI）を用いる。
• 価値関数の関数近似器として、単一の一般化ファジィハイパボリックモデル（GFHM）を採用し、二重ネットワークアーキテクチャを置き換える。
• 局所的協調誤差と局所的価値関数の間のマッピングをGFHMでモデル化し、最適制御戦略のオンライン学習を可能にする。
• 重み更新の回数を削減し、アクションネットワークの必要性を回避する単一ネットワークアーキテクチャを導入する。
• ヘイムイルホフ・ベルマン方程式フレームワークを用いて、近似された価値関数から最適制御則を導出する。
• 重み推定誤差および局所的協調誤差が一様最終有界（UUB）であることを証明することで、安定性条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 単一のGFHMベースのFADPフレームワークは、マルチエージェント微分ゲームにおける連立HJ方程式の解を効果的に近似できるか？
• RQ2 アクションネットワークを単一のGFHMに置き換えることで、最適協調制御の安定性および効率性がどのように向上するか？
• RQ3 本手法における協調誤差および重み推定誤差の一様最終有界性（UUB）を保証する条件は何か？
• RQ4 リーダー主導のアーキテクチャは、最適協調制御の収束性および性能にどのように影響を与えるか？
• RQ5 動的かつ不確実なエージェント相互作用下でも、本手法は協調的一様最終有界（CUUB）な制御軌道を達成できるか？

主な発見

• 単一のGFHMを用いた提案されたFADPスキームは、一様最終有界（UUB）な協調誤差を達成し、マルチエージェントシステムの長期的安定性を保証する。
• GFHM近似における重み推定誤差が一様最終有界であることが証明され、信頼性の高い学習収束を示している。
• 制御ノードの軌道が協調的一様最終有界（CUUB）であることが示され、ネットワーク全体における協調的で安定した動作が確認された。
• 単一ネットワークアーキテクチャにより、計算複雑性が低減され、アクションネットワークの必要性が排除され、二重ネットワーク手法に比べてスケーラビリティとロバストネスが向上した。
• 安定性解析により、動的相互作用および近似誤差下でも、本手法がシステム性能を維持することが確認された。
• 数値例により、本スキームが最小限のエネルギー消費と高速収束を伴い、最適協調を達成できることを実証した。