[論文レビュー] Distributed neural network control with dependability guarantees: a compositional port-Hamiltonian approach

Luca Furieri, Clara Lucía Galimberti+2 more|arXiv (Cornell University)|Dec 16, 2021

Control and Stability of Dynamical Systems被引用数 4

ひとこと要約

本稿では、大規模な非線形サイバーフィジカルシステムにおける分散ニューラルネットワーク制御のための構成的ポート・ハミルトニアン手法、DeepDisCoPHを提案する。深層ニューラルODEコントローラーをエネルギーに基づくハミルトニアン関数の周囲に構造化することにより、ネットワークサイズや学習進行に関係なく閉ループ安定性と非消滅勾配を保証する。数値実験では、衝突回避を伴うマルチロボット協調制御において、ほぼ最適な性能を達成した。

ABSTRACT

Large-scale cyber-physical systems require that control policies are distributed, that is, that they only rely on local real-time measurements and communication with neighboring agents. Optimal Distributed Control (ODC) problems are, however, highly intractable even in seemingly simple cases. Recent work has thus proposed training Neural Network (NN) distributed controllers. A main challenge of NN controllers is that they are not dependable during and after training, that is, the closed-loop system may be unstable, and the training may fail due to vanishing and exploding gradients. In this paper, we address these issues for networks of nonlinear port-Hamiltonian (pH) systems, whose modeling power ranges from energy systems to non-holonomic vehicles and chemical reactions. Specifically, we embrace the compositional properties of pH systems to characterize deep Hamiltonian control policies with built-in closed-loop stability guarantees, irrespective of the interconnection topology and the chosen NN parameters. Furthermore, our setup enables leveraging recent results on well-behaved neural ODEs to prevent the phenomenon of vanishing gradients by design. Numerical experiments corroborate the dependability of the proposed architecture, while matching the performance of general neural network policies.

研究の動機と目的

• 大規模非線形システムにおける分散ニューラルネットワーク制御の信頼性という重要な課題に取り組むこと、特に学習過程における不安定性および勾配消失／爆発の問題を解消すること。
• 接続トポロジーまたはニューラルネットワークパラメータに依存しない、スケーラブルで構成的な制御アーキテクチャを構築すること。
• 勾配クリッピングや直交行列制約に依存せず、内蔵された設計によって勾配消失を防ぐことで、深層ニューラルODEコントローラーの安定した学習を可能にすること。
• マルチロボットフォーメーションや衝突回避といった分散制御タスクにおいて、摂動や早期学習終了下でも安定性を維持しながら、ほぼ最適な性能を達成すること。

提案手法

• 本手法は、非線形系の接続をモデリングするための構成的ポート・ハミルトニアン（pH）フレームワークを採用し、安定性に寄与する内在的エネルギー形状特性を活用する。
• コントローラーは、システムのハミルトニアンエネルギー関数を進化させる深層ニューラルODEとしてパrameter化され、設計上エネルギー保存則とパassivityを保証する。
• コントローラーの構造により、任意の接続トポロジーおよびネットワークの深さに関わらず、閉ループ系がパッシブかつ安定であることが保証される。
• 勾配消失や爆発を内蔵された動的特性によって自然に防止する、良好に定義されたニューラルODEダイナミクスをアーキテクチャに埋め込む。これにより、勾配クリッピングや特別な重み行列の使用が不要になる。
• 損失関数は、標準的な制御コスト、滑らかな逆距離項による衝突回避ペナルティ、および時間的重み正則化を組み合わせており、滑らかなポリシー進化を促進する。
• 本手法は、マルチロボット協調制御の数値実験により検証され、コントローラーは有限時間ホライズン内でターゲットに到達させるように学習されるが、衝突を回避する。

実験結果

リサーチクエスチョン

• RQ1 任意の非線形ポート・ハミルトニアン系のネットワークにおいて、接続トポロジーまたは学習進行にかかわらず、閉ループ安定性を保証できる分散ニューラルネットワークコントローラーを設計できるか？
• RQ2 提案アーキテクチャは、多数のニューラルODE層と系の散逸を伴う状況下でも、勾配消失や爆発を防止できるか？
• RQ3 学習の早期終了や摂動を加えた初期条件下でも、コントローラーは安定性と性能を維持できるか？
• RQ4 DeepDisCoPHコントローラーの性能は、標準的な分散MLPと比較して、安定性および制御目的の観点でどのように異なるか？

主な発見

• DeepDisCoPHコントローラーは、5秒間の学習ホライズン内に全ロボットをターゲット位置に誘導し、衝突を回避しながら制御効率を最小限に抑え、安定性を維持した。
• 標準的な分散MLPコントローラーとは対照的に、DeepDisCoPHコントローラーは学習完了後も10倍の長い時間ホライズンにわたり閉ループ安定性を維持した。
• 高さと散逸を伴うにもかかわらず、すべての反復において一貫したジャコビアン項 ∂ζj/∂ζi のノルム値が維持されることから、学習全般にわたり勾配が消滅しないことが裏付けられた。
• 学習を全期間の5%、25%、50%、75%で早期に停止した場合でも、閉ループ系は安定であったため、理論的な信頼性保証が確認された。
• 初期状態をノミナル初期状態の半径0.5の近傍からランダムに選んだシナリオの95%において、衝突を回避するというロバストネスを示した。
• DeepDisCoPHの性能は、制御コストと衝突回避の観点で一般ニューラルネットワークポリシーと同等であったが、安定性および勾配行動に関する保証が明確に与えられた。