[논문 리뷰] MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding

Wenbo Zhang, Osbert Bastani외 1명|arXiv (Cornell University)|2019. 10. 25.

Reinforcement Learning in Robotics참고 문헌 24인용 수 24

한 줄 요약

MAMPS는 다중 에이전트 강화 학습에서 안전성을 보장하기 위한 새로운 알고리즘으로, 실시간으로 모델 예측 차폐를 사용하여 필요할 때만 개별 에이전트를 안전한 백업 정책으로 동적으로 전환한다. 이는 높은 성능을 유지하면서도 안전성을 보장하며, 단일 에이전트 차폐 접근 방식보다 다중 에이전트 환경에서 성능이 최대 한 계단 정도 향상된다.

ABSTRACT

Reinforcement learning is a promising approach to learning control policies for performing complex multi-agent robotics tasks. However, a policy learned in simulation often fails to guarantee even simple safety properties such as obstacle avoidance. To ensure safety, we propose multi-agent model predictive shielding (MAMPS), an algorithm that provably guarantees safety for an arbitrary learned policy. In particular, it operates by using the learned policy as often as possible, but instead uses a backup policy in cases where it cannot guarantee the safety of the learned policy. Using a multi-agent simulation environment, we show how MAMPS can achieve good performance while ensuring safety.

연구 동기 및 목표

• 복잡하고 동적인 환경에서 학습된 다중 에이전트 강화 학습 정책의 안전성을 보장하는 데 있어 핵심적인 과제를 해결하기 위해.
• 기존의 다중 에이전트 시스템을 단일 에이전트 시스템으로 간주하는 차폐 방법이 겪는 확장성 및 비최적화 문제를 극복하기 위해.
• 위험에 처한 에이전트에만 백업 정책을 선택적으로 적용하여 성능 저하를 최소화하면서도 안전성을 보장하는 방법을 개발하기 위해.
• 초기 상태가 복구 가능할 경우, 차폐된 정책이 무한 수렴 시간 동안 안전성을 유지한다는 이론적 보장을 제공하기 위해.
• 에이전트 수가 다양하게 변화하는 다중 에이전트 시뮬레이션 환경에서 MAMPS를 난이도 있는 차폐 접근 방식과 비교하여 실증적으로 검증하기 위해.

제안 방법

• MAMPS는 각 에이전트를 개별적으로 적용한 학습된 정책 이후의 다음 상태의 안전성을 평가하는 모델 예측 차폐 프레임워크를 사용한다.
• 복구 가능한 상태로 이르는 행동을 취할 경우에만, 복구 가능성 검사를 기반으로 점진적으로 에이전트를 학습된 정책에서 안전한 백업 정책으로 전환한다.
• 각 에이전트의 학습된 정책과 백업 정책을 조합한 현재 정책 벡터 π_b를 유지하며, π_b를 적용했을 때 다음 상태가 복구 가능한지 확인한다.
• 복구 가능성은 유한한 시간 간격 동안 백업 정책을 사용하여 닫힌 루프 동역학을 시뮬레이션하여 안전성과 안정성을 검증함으로써 결정된다.
• 안전한 정책 구성이 에이전트 간 조합을 테스트하여 안전한 정책 벡터 π_b를 찾을 때까지 반복적으로 확인한다.
• 내부 시뮬레이션을 통해 안전성이 확인된 후에야 π_b의 행동이 실제 환경에서 실행되므로, 성능을 희생시키지 않으면서도 안전성을 확보한다.

실험 결과

연구 질문

• RQ1 전체 시스템을 단일 에이전트로 간주함으로써 성능 저하가 발생하는 것을 방지하면서, 다중 에이전트 시스템에 적합한 차폐 메커니즘을 설계할 수 있는가?
• RQ2 실시간으로 에이전트별로 차폐를 적용하는 방식이 사전 계산된 또는 전역적 차폐보다 더 강력한 안전 보장을 제공하는가?
• RQ3 MAMPS는 다중 에이전트 환경에서 안전성을 확보하면서 얼마나 높은 수준의 학습된 정책 성능을 유지할 수 있는가?
• RQ4 어느 한 에이전트가 위험에 처했을 때 모든 에이전트에 백업 정책을 적용하는 난이도 있는 차폐 접근 방식과 비교해 MAMPS는 어떻게 성능을 냅니다?
• RQ5 초기 상태가 복구 가능한 경우, MAMPS는 다중 에이전트 시스템에 대해 무한 수렴 시간 동안 안전성을 보장할 수 있는가?

주요 결과

• 3에이전트 설정에서는 MAMPS가 거의 최적의 성능을 달성하며, MADDPG+MAMPS의 성능은 MADDPG 단독 실행과 매우 유사하다.
• 4에이전트 설정에서는 충돌 증가로 인해 성능 저하가 발생하지만, MAMPS는 난이도 있는 접근 방식이 실패하는 상황에서도 안전성을 보장한다.
• 작업 성공률과 누적 수익 측면에서 MAMPS는 난이도 있는 차폐 접근 방식보다 최대 한 계단 정도 성능이 뛰어나다.
• 이론적 분석을 통해 초기 상태가 복구 가능한 경우, MAMPS가 무한 시간 동안 안전성을 보장한다는 것이 입증되었다.
• 백업 정책는 항상 모든 에이전트에 적용했을 때 복구 가능성을 보장하므로, 알고리즘이 항상 종료되고 안전한 동작를 반환한다.
• 모든 에이전트에 대해 백업 정책을 불필요하게 사용하지 않기 때문에, 난이도 있는 차폐보다 더 나은 확장성을 보인다.