[논문 리뷰] Safe Reinforcement Learning via Online Shielding.

Osbert Bastani|arXiv (Cornell University)|2019. 05. 25.

Reinforcement Learning in Robotics참고 문헌 10인용 수 9

한 줄 요약

이 논문은 실시간으로 안전 제약 조건을 강제하기 위해 학습된 정책을 동적으로 오버라이드하는 온라인 실드 기반 안전 강화 학습을 제안한다. 사전에 계산하지 않고 실시간으로 안전 결정을 계산함으로써, 이 방법은 확장성과 새로운 환경에 대한 적응성을 확보하며, 랜덤 장애물이 있는 시뮬레이션된 카트폴 및 자전거 주행 작업에서 성공적으로 안전성을 확보한다.

ABSTRACT

Reinforcement learning is a promising approach to learning control policies for complex robotics tasks. A key challenge is ensuring safety of the learned control policy---e.g., that a walking robot does not fall over, or a quadcopter does not run into a wall. We focus on the setting where the dynamics are known, and the goal is to prove that a policy learned in simulation satisfies a given safety constraint. Existing approaches for ensuring safety suffer from a number of limitations---e.g., they do not scale to high-dimensional state spaces, or they only ensure safety for a fixed environment. We propose an approach based on shielding, which uses a backup controller to override the learned controller as necessary to ensure that safety holds. Rather than compute when to use the backup controller ahead-of-time, we perform this computation online. By doing so, we ensure that our approach is computationally efficient, and furthermore, can be used to ensure safety even in novel environments. We empirically demonstrate that our approach can ensure safety in experiments on cart-pole and on a bicycle with random obstacles.

연구 동기 및 목표

• 복잡한 로봇 작업을 위한 강화 학습 정책의 안전성 확보 문제를 해결하기 위해, 특히 시뮬레이션 환경에서 훈련된 정책에 대해.
• 기존의 안전 방법들이 고차원 상태 공간으로의 확장성 부족 또는 새로운 환경에서의 실패 문제를 해결하기 위해.
• 사전에 계산된 안전 조건에 의존하지 않고, 온라인에서 작동하는 계산적으로 효율적인 안전 메커니즘 개발을 위해.
• 훈련 시점에 환경이 완전히 알려지지 않았거나 환경이 변경되더라도 안전 보장을 유지하기 위해.

제안 방법

• 이 방법은 실시간으로 학습된 정책의 행동을 모니터링하고, 안전 제약 위반이 우려될 경우 비상 제어기를 작동시켜 간섭하는 실드 프레임워크를 사용한다.
• 안전 결정은 온라인에서 계산되므로, 변화하거나 알려지지 않은 환경 조건에 동적으로 적응할 수 있다.
• 비상 제어기는 알려진된 시스템 동역학과 안전 제약 조건을 바탕으로 설계되어, 취하는 행동이 항상 안전을 유지하도록 보장한다.
• 이 방법은 알려진된 동역학을 활용해 실시간으로 안전 행동을 계산함으로써, 사전에 안전 영역을 계산하는 데 필요한 부담을 피한다.
• 실드 메커니즘은 강화 학습 정책과 통합되어, 에이전트가 안전 범위 내에서 탐색하고 학습할 수 있도록 한다.
• 이 방법은 카트폴 및 무작위 장애물을 가진 시뮬레이션된 자전거 주행과 같은 연속 제어 작업에 적용된다.

실험 결과

연구 질문

• RQ1 기존 방법이 확장성 문제를 겪는 고차원 상태 공간에서도 온라인 실드가 안전성을 보장할 수 있는가?
• RQ2 사전 계산된 방법에 비해 온라인으로 안전 오버라이드를 계산함으로써, 새로운 또는 예측할 수 없는 환경에 대한 적응성이 향상되는가?
• RQ3 복잡한 제어 작업에서 안전성을 보장하면서도 성능과 학습 효율성을 유지할 수 있는가?
• RQ4 동적 장애물이 존재하는 시뮬레이션 환경에서 안전 제약 조건을 강제하기 위해 온라인 실드가 얼마나 효과적인가?

주요 결과

• 제안된 온라인 실드 방법은 무작위 장애물이 있는 카트폴 및 자전거 주행 작업 모두에서 안전 제약 조건을 성공적으로 강제한다.
• 사전 분석의 계산 부담을 피하기 위해 온라인으로 안전 결정을 계산함으로써, 이 방법은 고차원 상태 공간으로도 확장 가능하다.
• 훈련 중에 볼 수 없었던 새로운 환경에서도 안전성이 유지되어, 환경 변화에 대한 강건성을 입증한다.
• 이 방법은 기존 강화 학습 정책의 성능을 손상시키지 않고도 안전한 탐색과 학습을 가능하게 한다.