[論文レビュー] Safe Multi-Agent Reinforcement Learning via Shielding

Ingy Elsayed-Aly, Suda Bharadwaj+4 more|arXiv (Cornell University)|Jan 27, 2021

Formal Methods in Verification参考文献 24被引用数 30

ひとこと要約

本論文は、LTLで規定された安全性を多目的エージェント強化学習に適用するための集中型および因数分解型シールド手法を提示し、ベンチマーク全体で安全性保証とスケーラブルな性能を示しつつ、学習品質を維持する。

ABSTRACT

Multi-agent reinforcement learning (MARL) has been increasingly used in a wide range of safety-critical applications, which require guaranteed safety (e.g., no unsafe states are ever visited) during the learning process.Unfortunately, current MARL methods do not have safety guarantees. Therefore, we present two shielding approaches for safe MARL. In centralized shielding, we synthesize a single shield to monitor all agents' joint actions and correct any unsafe action if necessary. In factored shielding, we synthesize multiple shields based on a factorization of the joint state space observed by all agents; the set of shields monitors agents concurrently and each shield is only responsible for a subset of agents at each step.Experimental results show that both approaches can guarantee the safety of agents during learning without compromising the quality of learned policies; moreover, factored shielding is more scalable in the number of agents than centralized shielding.

研究の動機と目的

• 探索中に安全でない状態が訪れうるMARLにおける安全性の懸念に対処する。
• 学習中の安全性を保証しつつ方策の品質を損なわないシールドフレームワークを導入する。
• 結合エージェントの行動を監視・修正するための集中型シールドと、スケーラブルな因数分解型シールドを開発する。

提案手法

• 粗い環境抽象DFAとLTLで表現された安全仕様DFAを組み合わせた二人プレイの安全ゲームを解くことで、Mealy機械として集中型シールドを合成する。
• 必要時のみ unsafe joint actionsを是正し、可能な限り少数のエージェントの行動を変更して干渉を最小化する。
• 結合状態空間を分割してエージェントのサブセットを共同で監視する、スケーラブルな因数分解型シールド手法を提案し、エージェントが動的にシールドに参加・退出できるようにする。
• 衝突を解決し、各ステップで全エージェントに対して一貫した安全出力を保証するために、複数のシールドを協調させる。
• Slugsツールを用いて二人プレイの安全ゲームを解くことでシールド合成を実演し、MARL学習時にシールドが作動する。

実験結果

リサーチクエスチョン

• RQ1 探索を通じて学習するエージェントがいるMARLに対して、シールドは証明可能な安全保証を提供できるか。
• RQ2 集中型と因数分解型シールドは、スケーラビリティと学習性能への影響の点でどう比較されるか。
• RQ3 シールドは学習ダイナミクスを変更することなく、異なるMARLアルゴリズムと組み込むことができるか。
• RQ4 シールドの協調は、マルチエージェント環境における安全性と方策品質にどのように影響するか。

主な発見

• 集中型および因数分解型のシールドは、MARLの学習中に安全性を保証できる。
• 因数分解型シールドは、エージェント数が増えるほど集中型シールドよりスケールする。
• シールドは複数のMARLアルゴリズム（CQ-learningとMADDPG）と互換性があり、特定の学習者に依存しない。
• シールド合成は控えめな環境抽象を用い、実験では実用的な時間内に完了する（例：シールドは2分以内に合成）。
• 経験的結果は、学習を不安定にする安全でない行動を除去することによって、シールドが学習品質を維持または改善する場合があることを示している。