[논문 리뷰] Constrained Reinforcement Learning for Robotics via Scenario-Based Programming

Davide Corsi, Raz Yerushalmi외 4명|arXiv (Cornell University)|2022. 06. 20.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 시나리오 기반 프로그래밍(SBP)을 통해 전문 분야 지식을 딥 강화학습에 통합함으로써 안전하고 고성능의 로봇 정책을 가능하게 하는 새로운 제약 조건이 있는 강화학습 프레임워크를 제안한다. 안전성 및 행동 제약 조건을 인간이 읽을 수 있는 시나리오로 표현하고, 라그랑주-ppo와 결합함으로써 규칙 위반 수를 크게 감소시키고 지도 없는 주행 작업에서 성공률을 햖थ하므로, 형식적 검증을 통해 안전성 성질이 확인되었다.

ABSTRACT

Deep reinforcement learning (DRL) has achieved groundbreaking successes in a wide variety of robotic applications. A natural consequence is the adoption of this paradigm for safety-critical tasks, where human safety and expensive hardware can be involved. In this context, it is crucial to optimize the performance of DRL-based agents while providing guarantees about their behavior. This paper presents a novel technique for incorporating domain-expert knowledge into a constrained DRL training loop. Our technique exploits the scenario-based programming paradigm, which is designed to allow specifying such knowledge in a simple and intuitive way. We validated our method on the popular robotic mapless navigation problem, in simulation, and on the actual platform. Our experiments demonstrate that using our approach to leverage expert knowledge dramatically improves the safety and the performance of the agent.

연구 동기 및 목표

• 로봇을 위한 딥 강화학습에서 안전성 및 행동 제약 조건을 직관적이고 인간이 읽을 수 있는 방식으로 표현할 수 있는 방법의 부족을 해결하기 위해.
• 자율 주행과 같은 안전이 핵심적인 환경에서 DRL 기반 로봇 정책의 신뢰성과 안전성을 향상시키기 위해.
• 해당 제약 조건을 인간이 읽을 수 있는 시나리오로 표현하고, 이를 통해 훈련 루프에 전문 지식을 직접 통합함으로써 해석 가능성과 제어력을 향상시키기 위해.
• 훈련된 정책에서 안전성 성질의 형식적 검증을 가능하게 하여 실세계 시스템에의 구현 가능성을 확보하기 위해.
• 모의 환경과 실제 환경에서 모두 지도 없는 주행 작업을 수행하는 실제 로봇 플랫폼(Turtlebot3)을 대상으로 제안된 방법의 유효성을 입증하기 위해.

제안 방법

• 안전성 및 행동 제약 조건을 인간이 읽을 수 있는 시나리오로 표현하기 위해 라그랑주-ppo를 시나리오 기반 프로그래밍(SBP)과 결합한 방법을 개발하였다.
• 각 시나리오는 원하는 행동 또는 금지된 행동(예: 왕복 회전 방지, 전진 유지)을 정의하고, 이는 제약 조건이 있는 DRL을 위한 비용 함수로 변환된다.
• SBP 프레임워크를 통해 다수의 제약 조건을 병렬로 조합하고 실행할 수 있어 통합된 시스템 행동을 보장한다.
• 주 보상 목표와 제약 조건 비용을 균형 잡기 위해 라그랑주 승수 방법을 사용하며, 승수의 자동 적응 기능을 제공한다.
• 훈련된 정책의 안전성 성질을 형식적으로 검증하기 위해 심층 신경망 검증 기법을 활용한다.
• 모의 환경과 하드웨어에서 모두 Robotis Turtlebot3 플랫폼을 사용하여 지도 없는 주행 작업을 대상으로 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 시나리오 기반 프로그래밍은 DRL 훈련을 위한 복잡한 안전성 및 행동 제약 조건을 인간이 읽을 수 있는 방식으로 효과적으로 표현할 수 있는가?
• RQ2 SBP를 제약 조건이 있는 DRL에 통합함으로써 기존의 표준 DRL 또는 페널티 기반 방법에 비해 로봇 에이전트의 안전성과 성능이 향상되는가?
• RQ3 제안된 방법은 복잡한 실세계 환경에서도 정책의 형식적 검증이 가능하게 하는가?
• RQ4 제약 조건 수가 증가함에 따라 이 방법은 어떻게 확장되며, 훈련 안정성과 성능 간의 상충 관계는 어떠한가?
• RQ5 주 작업 성능이 저하되지 않도록 전문 지식을 DRL 루프에 얼마나 효과적으로 통합할 수 있는가?

주요 결과

• 제안된 방법은 모의 환경과 실제 Turtlebot3 플랫폼 모두에서 지도 없는 주행 작업에서 100% 성공률를 달성하였으며, 표준 라그랑주-ppo 및 이전의 페널티 기반 접근법에 비해 뚜렷이 뛰어난 성능을 보였다.
• Yerushalmi 등 [64]의 기존 기준 방법에 비해 백업-백워드 회전과 같은 안전 규칙 위반 수를 90% 이상 감소시켰으며, 수동 페널티 조정이 필요로 하는 문제를 해결하였다.
• 형식적 검증을 통해 모든 훈련된 정책이 사전 정의된 안전성 성질을 충족했음을 확인하였으며, 테스트된 모든 모델이 주어진 제약 조건 하에서 100% 형식적으로 안전함을 입증하였다.
• 다양한 환경와 제약 조건 세트에서도 강건성을 보였으며, 다수의 제약 조건이 도입된 상황에서도 높은 성능를 유지하였다.
• 기존의 제약 조건이 있는 DRL 접근법에서 주로 발생하는 수동 페널티 조정의 필요성을 제거하기 위해 제약 조건을 직접 SBP 프레임워크에 통합함으로써 이 문제를 해결하였다.
• SBP와 라그랑주-ppo의 통합을 통해 확장 가능하고 해석 가능한 제약 조건 기반 명세가 가능해졌으며, 새로운 행동 규칙을 점진적으로 추가할 수 있게 되었다.