[論文レビュー] Safe Deep Reinforcement Learning for Multi-Agent Systems with Continuous Action Spaces

Ziyad Sheebaelhamd, Konstantinos Zisis+4 more|arXiv (Cornell University)|Aug 9, 2021

Reinforcement Learning in Robotics参考文献 19被引用数 10

ひとこと要約

本稿は、MADDPGフレームワークにソフト制約付きの安全層を導入することで、連続的行動空間を有するマルチエージェント強化学習におけるSafe DDPGの拡張を提案する。安全射影を罰則付き最適化問題に再定式化することにより、再帰的妥当性を保証し、不安全な状態下で制約違反を97.7%低減し、バックアップポリシーを必要とせずに安全な学習を可能にする。

ABSTRACT

Multi-agent control problems constitute an interesting area of application for deep reinforcement learning models with continuous action spaces. Such real-world applications, however, typically come with critical safety constraints that must not be violated. In order to ensure safety, we enhance the well-known multi-agent deep deterministic policy gradient (MADDPG) framework by adding a safety layer to the deep policy network. In particular, we extend the idea of linearizing the single-step transition dynamics, as was done for single-agent systems in Safe DDPG (Dalal et al., 2018), to multi-agent settings. We additionally propose to circumvent infeasibility problems in the action correction step using soft constraints (Kerrigan & Maciejowski, 2000). Results from the theory of exact penalty functions can be used to guarantee constraint satisfaction of the soft constraints under mild assumptions. We empirically find that the soft formulation achieves a dramatic decrease in constraint violations, making safety available even during the learning procedure.

研究の動機と目的

• 連続的行動空間を有するマルチエージェント強化学習における安全制約を扱う。ハード制約では行動補正が非妥当になる可能性があるため。
• ハード制約最適化における再帰的非妥当性の制限を克服しつつ、Safe DDPGをマルチエージェント設定に拡張する。
• 不安全な初期化や外部摂動下でも、安全フィルタが常に有効であることを保証することで、学習のロバスト性を向上させる。
• ソフト制約の定式化により、制約違反を最小限に抑えつつ、効果的な学習パフォーマンスを維持する。
• 制約がきついまたは矛盾する状況でも安全フィルタが動作可能となるように、バックアップコントローラーへの依存を排除する。

提案手法

• 行動空間における線形化された制約関数に基づく二次計画法を用いて、安全集合への行動射影を実行する安全層をMADDPGフレームワークに統合する。
• 行動空間における制約の一次近似（テイラー展開）を、履歴データ上で学習されたニューラルネットワークでパラメータ化する。
• 正確なペナルティ関数を用いてハード制約最適化をソフト制約問題に再定式化し、制御された制約違反を許容する。
• Kerrigan & Maciejowski (2000) が提案した許容誤差マージンを用いてソフト制約を導入し、再帰的妥当性を保証する。
• 正確なペナルティ関数の理論を用い、ペナルティが適切に調整されていれば、弱い仮定のもとで制約の満たしを保証する。
• 安全層をポリシーネットワーク内に埋め込むことで、エンドツーエンドの微分可能性とオフポリシー深層強化学習との互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 Safe DDPGフレームワークは、連続的行動空間を有するマルチエージェントシステムに成功裏に拡張可能か？
• RQ2 マルチエージェント設定において、ハード制約と比較してソフト制約を用いることで再帰的妥当性が向上し、制約違反が低減するか？
• RQ3 不安全な初期化や摂動の存在下で、ソフト制約付き安全層は学習パフォーマンスと収束性にどのように影響を与えるか？
• RQ4 別個のバックアップコントローラーを必要とせずに、訓練中に安全フィルタが常に有効に保たれるか？
• RQ5 ソフト制約の定式化は、安全確保の一方で、タスクパフォーマンスをどの程度維持できるか？

主な発見

• 不安全な初期化（UI）下では、ソフトMADDPGは制約なしMADDPGと比較して衝突を97.71%低減したが、ハードMADDPGでは84.38%の低減にとどまった。
• 外部摂動（ED）下では、ソフトMADDPGは衝突を97.99%低減したが、ハードMADDPGでは42.42%にとどまった。
• ハード制約定式化では、ED条件下で56.7%のエピソード、UI条件下で20.9%のエピソードで非妥当性が生じ、実用的利用に制限があった。
• テストシミュレーションでは、UIおよびED両設定でソフトMADDPGが累積衝突数が最小となり、優れた安全ロバスト性を示した。
• ソフト制約アプローチは、制約なしMADDPGと同等の学習トレンドと最終リターンを維持しており、タスクパフォーマンスに悪影響を及げなかった。
• 訓練中における制約違反は著しく低減され、EDケースではソフトMADDPGがベースラインの衝突数のわずか2.0%にまで低下した。