[論文レビュー] MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding

Wenbo Zhang, Osbert Bastani+1 more|arXiv (Cornell University)|Oct 25, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 24

ひとこと要約

MAMPSは、リアルタイムでのモデル予測シャッターを用いて、必要に応じてのみ個々のエージェントを安全なバックアップポリシーに動的に切り替えることで、マルチエージェント強化学習における安全性を保証する新規なアルゴリズムである。安全性を保ちながら高いパフォーマンスを維持し、ナーブな1エージェントシャッター手法に比べてマルチエージェント環境で最大1桁の性能向上を達成する。

ABSTRACT

Reinforcement learning is a promising approach to learning control policies for performing complex multi-agent robotics tasks. However, a policy learned in simulation often fails to guarantee even simple safety properties such as obstacle avoidance. To ensure safety, we propose multi-agent model predictive shielding (MAMPS), an algorithm that provably guarantees safety for an arbitrary learned policy. In particular, it operates by using the learned policy as often as possible, but instead uses a backup policy in cases where it cannot guarantee the safety of the learned policy. Using a multi-agent simulation environment, we show how MAMPS can achieve good performance while ensuring safety.

研究の動機と目的

• 複雑で動的な環境において、学習されたマルチエージェント強化学習ポリシーの安全性を保証するという重要な課題に取り組む。
• マルチエージェントシステムを1エージェント系として扱う既存のシャッタリング手法が抱えるスケーラビリティと非最適性の問題を克服する。
• 危険な状態に陥るおそれがあるエージェントにのみバックアップポリシーを適用することで、性能の低下を最小限に抑える方法を開発する。
• 初期状態が回復可能である場合に、シャッタードポリシーが無限時間にわたり安全性を保証することを理論的に保証する。
• エージェント数を変化させたマルチエージェントシミュレーション環境において、MAMPSをナーブなシャッタリング手法と比較して実験的に検証する。

提案手法

• MAMPSは、各エージェントに対して個別に学習済みポリシーを適用した後の次の状態の安全性を評価するモデル予測シャッタリングフレームワークを用いる。
• 回復不能な状態に至るおそれがある場合にのみ、回復可能性のチェックに基づいてエージェントを学習済みポリシーから安全なバックアップポリシーに段階的に切り替える。
• 各エージェントの学習済みポリシーとバックアップポリシーを組み合わせた現在のポリシー・ベクトルπ_bを維持し、π_bを適用した場合に次の状態が回復可能かどうかを確認する。
• 回復可能性は、有限時間のホライズンにわたりバックアップポリシーを用いて閉ループダイナミクスをシミュレートすることで、安全性と安定性を検証することによって決定される。
• 安全なポリシー配置を段階的に特定するために、組み合わせをテストし続け、安全なポリシー・ベクトルπ_bが得られるまで繰り返す。
• 内部シミュレーションで安全性を確認した後、のみ実環境でπ_bの行動を実行するため、パフォーマンスを損なわず安全性を保証する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントシステムに、全体を1エージェントとして扱うことで生じるパフォーマンス劣化を回避するシャッタリング機構を設計できるか？
• RQ2 リアルタイムでエージェントごとに適用するシャッタリングは、事前計算またはグローバルシャッタリングに比べてより強い安全性保証を提供するか？
• RQ3 MAMPSは、マルチエージェント環境で安全性を確保しつつ、学習済みポリシーのパフォーマンスをどの程度維持できるか？
• RQ4 MAMPSは、1つのエージェントが危険な状態に陥った場合に全エージェントにバックアップポリシーを適用するナーブなシャッタリング手法に比べて、どのように優れているか？
• RQ5 初期状態が回復可能である場合、MAMPSはマルチエージェントシステムに対して無限時間にわたる安全性を保証できるか？

主な発見

• 3エージェント設定ではMAMPSがほぼ最適に近いパフォーマンスを達成し、MADDPG+MAMPSの性能はMADDPG単体と非常に近い。
• 4エージェント設定では衝突の増加によりパフォーマンスが低下するが、MAMPSはナーブな手法が失敗する状況でも安全性を保証する。
• MAMPSは、タスク成功確率および累積報酬の観点で、ナーブなシャッタリング手法に比べて最大1桁の性能向上を達成する。
• 理論的分析により、システムが回復可能な状態から開始される場合、MAMPSが無限時間にわたり安全性を保証することが証明された。
• バックアップポリシーは全エージェントに適用された場合に常に回復可能性を保証するため、アルゴリズムは保証的に終了し、安全な行動を返す。
• ナーブなシャッタリングと比較して、全エージェントに不要にバックアップポリシーを適用しないため、スケーリングに優れている。