[논문 리뷰] Safe Reinforcement Learning via Probabilistic Shields

Nils Jansen, Bettina Könighofer외 3명|arXiv (Cornell University)|2018. 07. 16.

Software Reliability and Analysis Research참고 문헌 57인용 수 16

한 줄 요약

이 논문은 마코프 결정 과정(MDP)에서 강화학습을 위한 확률적 실드를 제안하여, 사전 정의된 위험 한계 δ를 초과하는 행동을 차단함으로써 높은 확률로 안전성을 보장한다. 안전성과 관련된 MDP 조각에 대해 모델 체킹을 사용하여 실드는 행동의 위험도를 사전 평가하고 탐색을 안내함으로써, 훨씬 적은 에피소드 수로 학습 속도를 높이고, 실드가 없는 강화학습에 비해 안전 위반 수를 크게 줄였다.

ABSTRACT

This paper targets the efficient construction of a safety shield for decision making in scenarios that incorporate uncertainty. Markov decision processes (MDPs) are prominent models to capture such planning problems. Reinforcement learning (RL) is a machine learning technique to determine near-optimal policies in MDPs that may be unknown prior to exploring the model. However, during exploration, RL is prone to induce behavior that is undesirable or not allowed in safety- or mission-critical contexts. We introduce the concept of a probabilistic shield that enables decision-making to adhere to safety constraints with high probability. In a separation of concerns, we employ formal verification to efficiently compute the probabilities of critical decisions within a safety-relevant fragment of the MDP. We use these results to realize a shield that is applied to an RL algorithm which then optimizes the actual performance objective. We discuss tradeoffs between sufficient progress in exploration of the environment and ensuring safety. In our experiments, we demonstrate on the arcade game PAC-MAN and on a case study involving service robots that the learning efficiency increases as the learning needs orders of magnitude fewer episodes.

연구 동기 및 목표

• 안전 기반 시스템을 위한 강화학습에서의 위험한 탐색 문제를 해결하기 위해.
• 엄격한 결정론적 제약 조건이 아닌, 통제 가능한 위험을 允허하는 확률적 안전 제약 조건 하에서 효율적인 학습을 가능하게 하기 위해.
• 감소된 안전성과 관련된 MDP에 대한 형식적 모델 체킹을 통해 안전성 검증을 정책 학습에서 분리하기 위해.
• 위험 한계 δ를 동적으로 조정하여 탐색 효율성과 안전성의 균형을 이루기 위해.
• 실드가 적용된 강화학습이 훨씬 적은 훈련 에피소드로도 뛰어난 성능과 안전성을 달성할 수 있음을 입증하기 위해.

제안 방법

• 모델 기반 강화학습을 사용하여 전체 MDP에서 안전성과 관련된 MDP 조각을 추출하여 핵심 상태와 전이만 포함하도록 한다.
• 확률적 모델 체킹(Storm를 통해)을 사용하여 각 행동이 유한한 수의 단계(예: 10단계) 내에서 위험 상태에 도달할 정확한 확률을 계산한다.
• 안전성 확률이 임계값 δ를 초과하는 모든 행동을 차단하는 δ-실드를 정의하며, 각 상태에 대해 적응형 δ 값을 사용한다.
• 추론 시점에 실드를 적용하여 Q-학습 에이전트가 생성한 행동을 필터링하고, 안전하거나 낮은 위험의 행동만 허용한다.
• 큰 MDP를 다룰 수 있도록 조각별로 독립적인 모델 체킹과 다중 스레딩을 통해 실드 구축을 최적화한다.
• 대체 동작 기능을 사용: δ 조건 하에 안전한 행동이 존재하지 않으면, 정책 붕괴를 방지하기 위해 최적 행동을 허용한다.

실험 결과

연구 질문

• RQ1 모델 체킹 기반의 확률적 실드가 안전성과 높은 확률을 확보하면서도 강화학습의 학습 효율성을 향상시킬 수 있는가?
• RQ2 δ의 선택이 안전성과 탐색 효율성 간의 트레이드오프에 미치는 영향은 어떠한가?
• RQ3 안전 기반 환경에서 효과적인 정책을 학습하기 위해 필요한 에피소드 수를 실드 적용이 얼마나 줄일 수 있는가?
• RQ4 특히 추상화와 병렬 처리를 사용할 경우, 큰 MDP에 적용했을 때 실드 구축 과정의 확장성은 어느 정도인가?
• RQ5 실세계 시나리오인 PAC-MAN과 창고 로봇 환경에서 실드가 적용된 강화학습이 실드가 없는 강화학습에 비해 성능과 안전성 면에서 뛰어나게 작용하는가?

주요 결과

• PAC-MAN에서 실드가 적용된 강화학습은 평균 점수를 크게 향상시켰다(예: 4명의 유령이 있는 27x25 격자에서 339.89 대비 -129.25), 더 작은 인스턴스에서는 승리 확률이 0.84 대비 0.04로 상승했다.
• 창고 로봇 사례 연구에서 8개의 결정 상태에 실드를 적용함으로써 승리 확률은 0.16에서 0.71로 상승했고, 평균 점수는 -186에서 420으로 상승했다.
• 실드 덕분에 효과적인 정책을 학습하기 위해 필요한 에피소드 수가 수개의 주기로 감소했으며, 안전 위반으로 인한 실패로 끝나는 에피소드 수가 크게 줄었다.
• 최대 약 10^6개 상태를 가진 MDP에 대해 실드 구축은 단일 스레드 기준 최대 6시간이 소요되었지만, 조각별 및 병렬 구축을 통해 확장 가능했다.
• 실드는 최적 정책이 높은 위험을 초래할 수 있는 상황이라도 치명적인 행동(예: 유령 충돌)을 효과적으로 방지하여 안정성과 학습의 안정성을 향상시켰다.
• 적응형 δ 메커니즘은 안전성 허용 수준을 동적으로 조정할 수 있게 해 탐색을 가능하게 하면서도 확률적 안전 보장을 유지했다.