[논문 리뷰] Safe Deep Reinforcement Learning for Multi-Agent Systems with Continuous Action Spaces

Ziyad Sheebaelhamd, Konstantinos Zisis외 4명|arXiv (Cornell University)|2021. 08. 09.

Reinforcement Learning in Robotics참고 문헌 19인용 수 10

한 줄 요약

이 논문은 연속 행동 공간을 가진 다중 에이전트 강화 학습에 대해 Safe DDPG를 확장하여, MADDPG 프레임워크에 소프트 제약 안전성 레이어를 도입함으로써 안전성을 향상시킨다. 안전성 투영을 처벌 최적화 문제로 재구성함으로써, 재귀적 타당성을 보장하고 불안전 조건 하에서 제약 위반을 97.7% 감소시켜 백업 정책이 필요 없이 안전한 학습을 가능하게 한다.

ABSTRACT

Multi-agent control problems constitute an interesting area of application for deep reinforcement learning models with continuous action spaces. Such real-world applications, however, typically come with critical safety constraints that must not be violated. In order to ensure safety, we enhance the well-known multi-agent deep deterministic policy gradient (MADDPG) framework by adding a safety layer to the deep policy network. In particular, we extend the idea of linearizing the single-step transition dynamics, as was done for single-agent systems in Safe DDPG (Dalal et al., 2018), to multi-agent settings. We additionally propose to circumvent infeasibility problems in the action correction step using soft constraints (Kerrigan & Maciejowski, 2000). Results from the theory of exact penalty functions can be used to guarantee constraint satisfaction of the soft constraints under mild assumptions. We empirically find that the soft formulation achieves a dramatic decrease in constraint violations, making safety available even during the learning procedure.

연구 동기 및 목표

• 연속 행동 공간을 가진 다중 에이전트 강화 학습에서 하드 제약 조건이 타당하지 않은 행동 수정을 유도할 수 있는 안전성 제약 조건을 다루기 위해.
• 하드 제약 최적화에서 발생하는 재귀적 타당성 문제를 해결하면서 Safe DDPG를 다중 에이전트 환경으로 확장하기 위해.
• 불안전한 초기화 및 외부 간섭 상황에서도 안전 필터가 활성화된 채로 학습의 강건성을 향상시키기 위해.
• 소프트 제약 형식을 통해 제약 위반을 최소화하면서도 효과적인 학습 성능를 유지하기 위해.
• 제약 조건이 깐깐하거나 상충될 경우에도 백업 컨트롤러에 의존하지 않고 안전 필터가 작동할 수 있도록 하기 위해.

제안 방법

• 행동 공간에서 선형화된 제약 함수를 기반으로 하는 이차계획법을 사용하여 행동을 안전 집합으로 투영하는 안전성 레이어를 MADDPG 프레임워크에 통합한다.
• 행동 공간에서 제약 조건의 일阶 테일러 근사 근사를 적용하며, 이는 이전 데이터에 기반한 신경망으로 파arameter화된다.
• 정확한 처벌 함수를 사용하여 하드 제약 최적화 문제를 소프트 제약 문제로 재구성함으로써, 처벌이 수반된 제약 위반을 허용한다.
• Kerrigan & Maciejowski (2000)에서 제안한 내성 마진을 활용하여 소프트 제약를 적용함으로써 재귀적 타당성을 보장한다.
• 정확한 처벌 함수 이론을 활용하여 처벌이 적절히 조정된 경우 약한 가정 하에 제약 조건을 충족함을 보장한다.
• 안전성 레이어를 정책 네트워크 내부에 통합함으로써 엔드 투 엔드 미분 가능성과 오프-폴리시 딥 RL 학습과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 Safe DDPG 프레임워크는 연속 행동 공간을 가진 다중 에이전트 시스템으로 성공적으로 확장될 수 있는가?
• RQ2 소프트 제약 조건을 사용할 경우 하드 제약 조건 대비 다중 에이전트 환경에서 재귀적 타당성 향상과 제약 위반 감소에 기여하는가?
• RQ3 불안전한 초기화 또는 외부 간섭 상황에서 소프트 제약 안전성 레이어가 학습 성능와 수렴에 어떤 영향을 미치는가?
• RQ4 백업 컨트롤러를 별도로 필요로 하지 않고도 안전 필터가 학습 도중 활성화될 수 있는가?
• RQ5 소프트 제약 형식은 안전성을 확보하면서도 과제 성능를 어느 정도 유지하는가?

주요 결과

• 불안전한 초기화(UI) 조건에서 소프트 MADDPG는 제약이 없는 MADDPG 대비 충돌을 97.71% 감소시켰고, 하드 MADDPG는 84.38% 감소에 그쳤다.
• 외부 간섭(ED) 조건에서 소프트 MADDPG는 충돌을 97.99% 감소시켰고, 하드 MADDPG는 42.42% 감소에 그쳤다.
• 하드 제약 최적화 형식은 ED 조건에서 56.7%의 에피소드, UI 조건에서 20.9%의 에피소드에서 타당성 문제를 겪어 실용적 사용에 한계가 있었다.
• 시험 시뮬레이션에서 소프트 MADDPG는 UI 및 ED 조건 모두에서 누적 충돌 수가 가장 낮아 우수한 안전성 강건성을 입증하였다.
• 소프트 제약 형식은 제약이 없는 MADDPG와 유사한 학습 추세와 최종 수익을 유지하여 과제 성능에 부정적 영향을 주지 않았다.
• 학습 중 제약 위반이 극적으로 감소하였으며, ED 조건에서 소프트 MADDPG는 기준 충돌 수의 2.0%에 불과한 수준을 기록하였다.