[논문 리뷰] Safe Multi-Agent Reinforcement Learning through Decentralized Multiple Control Barrier Functions

Zhiyuan Cai, Huanhui Cao외 3명|arXiv (Cornell University)|2021. 03. 23.

Reinforcement Learning in Robotics참고 문헌 24인용 수 13

한 줄 요약

이 논문은 다중 제어 장벽 함수(CBF)를 통합하여 다중 에이전트 시스템에서 충돌 회피를 보장하는 탈중앙화된 안전한 다중 에이전트 강화 학습 프레임워크를 제안한다. MADDPG에 탈중앙화된 CBF를 통합한 MADDPG-CBF를 통해 이론적 안전 보장을 입증하고, 실험적으로는 기준선인 MADDPG가 자주 충돌하는 것과는 달리, 충돌 없는 학습과 안정된 높은 보상 수준을 달성함을 보였다.

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) algorithms show amazing performance in simulation in recent years, but placing MARL in real-world applications may suffer safety problems. MARL with centralized shields was proposed and verified in safety games recently. However, centralized shielding approaches can be infeasible in several real-world multi-agent applications that involve non-cooperative agents or communication delay. Thus, we propose to combine MARL with decentralized Control Barrier Function (CBF) shields based on available local information. We establish a safe MARL framework with decentralized multiple CBFs and develop Multi-Agent Deep Deterministic Policy Gradient (MADDPG) to Multi-Agent Deep Deterministic Policy Gradient with decentralized multiple Control Barrier Functions (MADDPG-CBF). Based on a collision-avoidance problem that includes not only cooperative agents but obstacles, we demonstrate the construction of multiple CBFs with safety guarantees in theory. Experiments are conducted and experiment results verify that the proposed safe MARL framework can guarantee the safety of agents included in MARL.

연구 동기 및 목표

• 중앙 집중식 보호막이 통신 지연이나 비협력적 에이전트로 인해 실용적이지 않은 실세계 다중 에이전트 강화 학습(MARL) 응용 분야에서의 안전성 문제를 해결하기 위해.
• 지역 정보 기반으로 작동하는 다수의 제어 장벽 함수(CBF)를 사용하여 탈중앙화되고 확장 가능한 MARL를 위한 안전 메커니즘을 개발하기 위해.
• 딥 디터민리스틱 정책 그래디언트 방법과 CBF를 통합하여 안전하고 샘플 효율적인 MARL 알고리즘을 개발하기 위해.
• 제안된 프레임워크가 협력적 에이전트와 장애물이 모두 존재하는 다중 에이전트 환경에서 안전성을 보장한다는 것을 이론적 및 실증적으로 검증하기 위해.

제안 방법

• 각 에이전트가 지역 관측 기반으로 협력적 및 비협력적 CBF를 모두 사용하는 탈중앙화된 다수 CBF 기반의 안전한 MARL 프레임워크를 제안한다.
• 안전한 집합의 전방 불변성을 보장하기 위해 CBF 제약 조건을 만족시키는 방식으로 제어 법칙을 정의하며, 이는 2차 계획 문제(QP)를 통해 유도된다.
• 다른 에이전트와의 상호작용을 위해 협력적 CBF를 설계하고, 장애물과의 상호작용을 위해 비협력적 CBF를 설계하며, 이는 상대적 위치와 속도에 기반한다.
• MADDPG 알고리즘에 CBF 쉴드 메커니즘을 통합하여 MADDPG-CBF를 구성함으로써, 정책 최적화를 유지하면서도 안전성을 강제한다.
• 장애물 및 다른 에이전트에 가까워지는 것을 페널티로 삼고, 목표 체크인 지점에 도달하는 데 추가적인 인cent라이브를 제공하는 하이브리드 보상 함수를 사용한다.
• 두 단계의 동작 수정 방식을 적용한다: 첫 번째로 원래 정책이 동작을 생성하고, 두 번째로 CBF가 QP 최적화를 통해 이러한 동작을 안전 집합으로 투영한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 쉴드나 전역 통신에 의존하지 않고도 탈중앙화된 다수 CBF가 MARL에서 안전성을 보장할 수 있는가?
• RQ2 협력적 및 비협력적 CBF를 어떻게 함께 설계하여 에이전트 간 충돌과 에이전트-장애물 충돌을 동시에 처리할 수 있는가?
• RQ3 CBF를 MADDPG에 통합함으로써 학습 성능은 유지하면서도 학습 중 안전성이 보장되는가?
• RQ4 제안된 프레임워크가 다중 에이전트 충돌 회피 시나리오에서 이론적으로 어떤 안전 보장을 제공하는가?
• RQ5 MADDPG-CBF는 표준 MADDPG에 비해 충돌 빈도와 누적 보상 측면에서 어떻게 성능이 뛰어나게 되는가?

주요 결과

• MADDPG-CBF는 학습 초반부터 안정적인 평균 총 보상 약 40,000을 달성한 반면, 표준 MADDPG는 수렴하기까지 3,200 에피소드가 소요되었다.
• MADDPG-CBF의 충돌 비율은 모든 25,000개의 학습 에피소드 동안 0%였으며, 다섯 번의 독립적인 실행에서 충돌 기록이 전무했다.
• 반면, 표준 MADDPG는 동일한 학습 런에서 총 12,634건의 충돌을 겪어 충돌 비율이 50.536%에 달했다.
• 궤적 시각화 결과, MADDPG-CBF의 에이전트들이 상호 간 및 장애물과의 충돌을 조율된 조향을 통해 성공적으로 피한 것으로 확인되었다.
• 이 방법은 Patrolman II가 모든 다섯 개의 체크인 지점에 도달하면서도 안전성을 유지함으로써 엄격한 안전 제약 조건 하에서도 작업 완수를 가능하게 했다.
• CBF 통합은 샘플 효율성과 안전성 모두를 크게 향상시켰으며, 학습 과정에서 안전 위반 사례가 관찰되지 않았다.