[논문 리뷰] Safe Multi-Agent Reinforcement Learning via Shielding

Ingy Elsayed-Aly, Suda Bharadwaj외 4명|arXiv (Cornell University)|2021. 01. 27.

Formal Methods in Verification참고 문헌 24인용 수 30

한 줄 요약

논문은 다중 에이전트 강화학습에서 LTL로 명시된 안전을 보장하기 위한 중앙집중식 및 팩터링 shielding 접근법을 제시하고, 학습 품질을 해치지 않으면서 안전 보장과 벤치마크 전반에 걸친 확장 가능한 성능을 보여준다.

ABSTRACT

Multi-agent reinforcement learning (MARL) has been increasingly used in a wide range of safety-critical applications, which require guaranteed safety (e.g., no unsafe states are ever visited) during the learning process.Unfortunately, current MARL methods do not have safety guarantees. Therefore, we present two shielding approaches for safe MARL. In centralized shielding, we synthesize a single shield to monitor all agents' joint actions and correct any unsafe action if necessary. In factored shielding, we synthesize multiple shields based on a factorization of the joint state space observed by all agents; the set of shields monitors agents concurrently and each shield is only responsible for a subset of agents at each step.Experimental results show that both approaches can guarantee the safety of agents during learning without compromising the quality of learned policies; moreover, factored shielding is more scalable in the number of agents than centralized shielding.

연구 동기 및 목표

• 탐색 과정에서 안전하지 않은 상태가 방문될 수 있는 MARL의 안전 문제를 다룬다.
• 학습 중 안전을 보장하되 정책 품질이 저하되지 않도록 shielding 프레임워크를 도입한다.
• 공동 에이전트 행동을 모니터링하고 교정하기 위한 중앙집중식 shielding과 확장 가능한 팩터링 shielding을 개발한다.

제안 방법

• 거친 환경 추상 DFA와 LTL로 표현된 안전 명세 DFA를 결합한 2인용 안전 게임을 해결하여 Mealy 기계로서의 중앙집중식 shield를 합성한다.
• 필요할 때만 unsafe joint actions를 수정하고 가능한 한 적은 수의 에이전트의 행동을 변경하여 간섭을 최소화한다.
• 에이전트 하위 집합을 공동으로 모니터링하고 공동 상태 공간을 분할하는 확장 가능한 팩터링 shielding 접근법을 제안하며, 에이전트가 다이나믹하게 shield에 합류하거나 탈퇴하도록 허용한다.
• 다수의 shields를 조정하여 충돌을 해결하고 각 단계에서 모든 에이전트에 대해 일관된 안전 출력을 보장한다.
• Slugs 도구를 통해 2인용 안전 게임을 해결하여 shield 합성을 시연하고, MARL 학습 중에 shield가 작동하도록 한다.

실험 결과

연구 질문

• RQ1 shielding이 탐사를 통해 학습하는 MARL에서 보장 가능한 안전성을 제공할 수 있는가?
• RQ2 중앙집중식 및 팩터링 shielding의 확장성 및 학습 성능에 대한 영향은 어떠한가?
• RQ3 shield를 학습 동학을 수정하지 않고도 다양한 MARL 알고리즘과 통합할 수 있는가?
• RQ4 shield 조정이 다중 에이전트 환경에서 안전성과 정책 품질에 어떤 영향을 미치는가?

주요 결과

• 중앙집중식 shielding과 팩터링 shielding 모두 MARL 학습 중 안전을 보장할 수 있다.
• 팩터링 shielding은 에이전트 수가 증가할 때 중앙집중식 shielding보다 확장성이 더 좋다.
• Shield는 다수의 MARL 알고리즘(CQ-learning 및 MADDPG)과 호환되며 특정 학습자에 의존하지 않는다.
• shield 합성은 적당한 수준의 환경 추상을 사용하고 실험에서 2분 이내에 완료되는 등 실용적인 시간 내에 수행된다.
• 실험 결과는 안전하지 않은 행동을 제거하여 학습의 불안정을 방지하거나 해소함으로써 학습 품질을 보존하거나 향상시킬 수 있음을 보여준다.