[論文レビュー] Learning Safe Multi-Agent Control with Decentralized Neural Barrier Certificates

Zengyi Qin, Kaiqing Zhang+3 more|arXiv (Cornell University)|Jan 14, 2021

Advanced Control Systems Optimization参考文献 36被引用数 48

ひとこと要約

論文は、分散型の共同学習フレームワークを提示し、多数のエージェントに対して安全性とスケーラビリティを確保するために、ニューラル制御障壁証明（CBFs）を用いてマルチエージェントの制御ポリシーを訓練します。

ABSTRACT

We study the multi-agent safe control problem where agents should avoid collisions to static obstacles and collisions with each other while reaching their goals. Our core idea is to learn the multi-agent control policy jointly with learning the control barrier functions as safety certificates. We propose a novel joint-learning framework that can be implemented in a decentralized fashion, with generalization guarantees for certain function classes. Such a decentralized framework can adapt to an arbitrarily large number of agents. Building upon this framework, we further improve the scalability by incorporating neural network architectures that are invariant to the quantity and permutation of neighboring agents. In addition, we propose a new spontaneous policy refinement method to further enforce the certificate condition during testing. We provide extensive experiments to demonstrate that our method significantly outperforms other leading multi-agent control approaches in terms of maintaining safety and completing original tasks. Our approach also shows exceptional generalization capability in that the control policy can be trained with 8 agents in one scenario, while being used on other scenarios with up to 1024 agents in complex multi-agent environments and dynamics.

研究の動機と目的

• 大規模なマルチエージェントシステムの安全性を公式の安全保証とともに動機づける。
• 制御ポリシーと安全証明（CBFs）を共同で学習する分散フレームワークを開発する。
• 局所観測と不変なネットワーク設計を通じて任意の数のエージェントへのスケーラビリティを達成する。
• 未知の環境とエージェント数への一般化を実証する。
• 学習効率とテスト時の安全性を向上させる技術を提供する。

提案手法

• 局所状態と観測に依存する分散型CBFを定義する。
• γを用いたデータから、ポリシー pi_i とバリア関数 h_i を共同で学習する。
• 3つのCBF条件とゴール到達項を強制する損失を用いる。
• 動的な近傍数のための数量置換不変ニューラルエンコーダを採用する。
• オンポリシーデータと反復的データ収集を用いて訓練/テスト分布を整合させる。
• CBF条件が破られたときに行動を調整する自然発生的なオンラインポリシー改良を導入する。

実験結果

リサーチクエスチョン

• RQ1 中央コントローラなしで分散型CBFはマルチエージェント環境の安全性を保証できるか？
• RQ2 近接するエージェントの変動する数と順列を扱うようにニューラルネットワークを設計できるか？
• RQ3 ポリシーとCBFの共同学習は未知のシナリオや大規模なエージェント数に一般化するか？
• RQ4 学習済み証明を超えて、テスト時の安全性をオンライン改良は向上させるか？
• RQ5 目標指向的な動作を達成しつつ安全性を確保する実践的な訓練戦略は何か？

主な発見

• 分散型CBFを用いた共同学習フレームワークは、分散条件が満たされている場合に安全性の保証を生む。
• 数量置換不変エンコーダを用いると、任意の数のエージェントと可変の近傍数にスケールできる。
• 8エージェントで訓練されたポリシーは、複雑な環境で最大1024エージェントのシナリオに一般化する。
• 2Dおよび3Dタスクで、安全性とタスク完了の点で、先行する学習ベースおよび計画ベースのアプローチを上回る。
• 自然発生的なオンラインポリシー改良は、テスト時にCBF条件を積極的に適用することで安全性をさらに向上させる。
• 実験は、トレーニング条件を超えた環境とエージェント数に対して強い一般化を示す。