[논문 리뷰] Safe Planning via Model Predictive Shielding

Osbert Bastani|arXiv (Cornell University)|2019. 05. 25.

Reinforcement Learning in Robotics참고 문헌 27인용 수 11

한 줄 요약

이 논문은 모델 예측 셔딩(Model Predictive Shielding, MPS)을 제안한다. 이는 필요할 때만 백업 정책을 사용함으로써 강화학습 정책의 안전성을 실시간으로 동적으로 검증하는 계산적으로 효율적인 방법이다. 사전에 오프라인으로 검증하는 대신 실시간으로 안전성을 점검함으로써, 기존의 셔딩 방법보다 적응성과 효율성 면에서 뛰어나며, 알려진 환경과 새로운 환경 모두에서 안전성을 보장한다.

ABSTRACT

Reinforcement learning is a promising approach to synthesizing policies for robotics tasks. A key challenge is ensuring safety of the learned policy---e.g., that a walking robot does not fall over, or an autonomous car does not run into an obstacle. We focus on the setting where the dynamics are known, and the goal is to prove that a policy trained in simulation satisfies a given safety constraint. We build on an approach called shielding, which uses a backup policy to override the learned policy as needed to ensure safety. Our algorithm, called model predictive shielding (MPS), computes whether it is safe to use the learned policy on-the-fly instead of ahead-of-time. By doing so, our approach is computationally efficient, and can furthermore be used to ensure safety even in novel environments. Finally, we empirically demonstrate the benefits of our approach.

연구 동기 및 목표

• 로봇 작업에서 낙상 방지, 차량 충돌 방지와 같은 강화학습 정책의 안전성 확보 과제를 해결하기 위해.
• 오프라인 사전 처리 기간 동안이 아니라 런타임 중에 학습된 정책의 안전성을 검증하는 방법을 개발하기 위해.
• 학습 기간 동안 직접적으로 훈련되지 않은 새로운 환경이나 미리 보지 못한 환경에서도 안전한 운영을 가능하게 하기 위해.
• 런타임까지 안전 검사를 연기함으로써 기존 셔딩 기법 대비 계산 효율성을 향상시키기 위해.

제안 방법

• MPS는 시스템 동역학의 모델을 사용하여 향후 상태를 예측하고, 학습된 정책의 행동이 안전 제약 조건 내에 유지되는지 확인한다.
• 각 결정 단계에서, 학습된 정책을 따르는 것이 안전한지, 아니면 안전한 백업 정책을 작동시켜야 하는지 동적으로 계산한다.
• 셔딩 메커니즘은 모델 예측 제어(MPC) 방식으로 작동하며, 윈도우를 이동시키면서 매 시간 단계마다 안전성을 재평가한다.
• 학습된 정책의 예측 궤적에서 안전 제약 조건을 위반할 경우에만 백업 정책이 활성화된다.
• 예측된 행동이 안전하지 않다고 판단될 경우 항상 안전한 정책으로 전환되므로, 안전성이 구조적으로 보장된다.

실험 결과

연구 질문

• RQ1 사전에 안전 영역를 계산하지 않고도 실시간으로 학습된 정책의 안전성을 보장할 수 있는가?
• RQ2 사전에 계산된 셔딩 대비 실시간 안전성 검증의 계산 비용과 적응성 측면에서의 성능 비교는 어떠한가?
• RQ3 훈련 기간 동안 볼 수 없었던 새로운 환경에서도 이 방법이 안전성을 유지할 수 있는가?
• RQ4 안전성 강제 빈도와 정책 성능 사이의 상충 관계는 어떠한가?

주요 결과

• MPS는 오프라인 셔딩 방법 대비 계산 오버헤드를 줄이며 실시간 안전성 검증을 가능하게 한다.
• 매 시간 단계에서 동적으로 안전성을 점검함으로써, 알려진 환경과 새로운 환경 모두에서 안전성을 보장한다.
• 안전 검사를 런타임까지 연기함으로써 적응성이 향상되고, 과도하게 보수적인 사전 계산을 방지한다.
• 실험 결과, 다양한 동적 조건 하에서도 안전성을 보장하면서도 높은 정책 성능을 유지함을 입증했다.