[논문 리뷰] Multi-Agent Constrained Policy Optimisation

Shangding Gu, Jakub Grudzien Kuba외 7명|arXiv (Cornell University)|2021. 10. 06.

Reinforcement Learning in Robotics참고 문헌 41인용 수 16

한 줄 요약

이 논문은 제약된 정책 최적화를 통해 안전성 제약을 강제하는 두 가지 새로운 모델-프리 다중에이전트 강화학습 알고리즘인 MACPO와 MAPPO-Lagrangian을 제안한다. 신뢰 영역 방법과 라그랑주 해소를 통합함으로써, 두 알고리즘은 모든 학습 단계에서 보상 향상의 단조성과 엄격한 제약 충족을 보장하며, 연속 제어 벤치마크에서 성능을 유지하면서도 기준선 대비 안정성에서 뛰어난 성능을 발휘한다.

ABSTRACT

Developing reinforcement learning algorithms that satisfy safety constraints is becoming increasingly important in real-world applications. In multi-agent reinforcement learning (MARL) settings, policy optimisation with safety awareness is particularly challenging because each individual agent has to not only meet its own safety constraints, but also consider those of others so that their joint behaviour can be guaranteed safe. Despite its importance, the problem of safe multi-agent learning has not been rigorously studied; very few solutions have been proposed, nor a sharable testing environment or benchmarks. To fill these gaps, in this work, we formulate the safe MARL problem as a constrained Markov game and solve it with policy optimisation methods. Our solutions -- Multi-Agent Constrained Policy Optimisation (MACPO) and MAPPO-Lagrangian -- leverage the theories from both constrained policy optimisation and multi-agent trust region learning. Crucially, our methods enjoy theoretical guarantees of both monotonic improvement in reward and satisfaction of safety constraints at every iteration. To examine the effectiveness of our methods, we develop the benchmark suite of Safe Multi-Agent MuJoCo that involves a variety of MARL baselines. Experimental results justify that MACPO/MAPPO-Lagrangian can consistently satisfy safety constraints, meanwhile achieving comparable performance to strong baselines.

연구 동기 및 목표

• 다중에이전트 강화학습(MARL)에서 개별 및 공동 안전 제약을 충족해야 하는 중요한 과제를 해결하기 위해.
• 안전한 MARL을 제약된 마르코프 게임로 일반화한 프레임워크를 개발하여 체계적인 연구와 벤치마크를 가능하게 하기 위해.
• 모든 학습 반복 단계에서 보상 최적화와 제약 충족을 보장하는 알고리즘을 설계하여 안전한 탐색을 보장하기 위해.
• 연속 제어 환경에서 안전한 MARL를 평가하기 위한 첫 번째 벤치마크 세트—Safe Multi-Agent MuJoCo와 Safe Multi-Agent Robosuite—를 구축하기 위해.
• 실험적으로 제안된 방법이 안전성 제약을 일관되게 충족하면서도 최첨단 MARL 기준선 대비 경쟁적 또는 뛰어난 성능을 달성함을 검증하기 위해.

제안 방법

• 공동 안전 제약이 있는 다중에이전트 설정으로 확장된 CMDP 프레임워크를 활용해 안전한 MARL을 제약된 마르코프 게임으로 공식화한다.
• 백트래킹 선형 검색를 사용해 정책 갱신에 대한 딱딱한 제약을 강제하는 신뢰 영역 접근법을 사용하는 MACPO를 제안한다.
• 라그랑주 목적 함수에 대한 기울기 상승을 수행해 안전성 인식을 유지하는 소프트 제약 방법인 MAPPO-Lagrangian을 도입한다.
• 협동 학습을 가능하게 하면서도 추론 시 분산성을 유지하기 위해 공동 케디티시브와 중심화된 학습, 분산 실행(CTDE)을 활용한다.
• 기대 수익의 단조적 향상과 모든 업데이트 단계에서의 제약 충족에 대한 이론적 보장을 갖춘 정책 기반 강화학습 방법을 활용한다.
• 정책과 라그랑주 승수 갱신을 번갈아 가며 수행하는 이중 최적화 기법을 구현하여 보상과 안전성 목표의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 탐색 기간 동안에도 모든 학습 반복 단계에서 안전 제약이 충족되도록 다중에이전트 정책 최적화를 확장할 수 있는가?
• RQ2 MACPO의 딱딱한 제약과 MAPPO-Lagrangian의 소프트 제약 간에 제약 충족의 안정성과 최종 성능에서 어떤 차이가 있는가?
• RQ3 안전한 MARL 알고리즘이 제약 없는 MARL 기준선 대비 유사하거나 뛰어난 누적 수익을 달성하면서도 안전 정책 영역 내에 머물 수 있는가?
• RQ4 MAPPO, IPPO, HAPPO와 같은 기존 MARL 알고리즘이 연속 제어 환경에서 얼마나 자주 안전 제약을 위반하는가?
• RQ5 다양한 작업 간에 안전 인식 알고리즘을 공정하게 평가하고 비교할 수 있도록 안전한 MARL를 위한 통합 벤치마크 세트를 설계할 수 있는가?

주요 결과

• MACPO와 MAPPO-Lagrangian은 모든 작업에서 거의 0에 가까운 비용 값을 기록하여 학습 전반에 걸쳐 안정적이고 엄격한 제약 충족을 보였다.
• 두 알고리즘 모두 초기에 안전하지 않은 정책으로 시작하더라도 처음부터 안전한 탐색을 유지한다. 반면 IPPO, MAPPO, HAPPO는 빈번히 제약을 위반한다.
• 어려운 앤티 기반 작업에서 MAPPO-Lagrangian은 MACPO보다 더 높은 평균 누적 수익을 달성하여 더 뛰어난 샘플 효율성 또는 최적화 안정성을 보였다.
• MAPPO-Lagrangian의 성능은 어려운 앤티 작업에서 제약 없는 MAPPO를 초월하여, 안전 제약이 성능을 반드시 떨어뜨리지 않음을 입증했다.
• HAPPO는 모든 방법 중 가장 높은 보상을 기록했지만 안전 제약을 위반하여, 기존 접근법에서 성능과 안전성 간의 상충관계를 보여주었다.
• 제안된 벤치마크 세트인 SMAMuJoCo와 SMARobosuite는 펜치홀에 못을 박는 것과 장애물 회피를 포함한 현실적인 안전 중심 다중에이전트 조작 작업을 성공적으로 캡처했다.