[논문 리뷰] Safe Exploration in Finite Markov Decision Processes with Gaussian Processes

Matteo Turchetta, Felix Berkenkamp외 1명|arXiv (Cornell University)|2016. 06. 01.

Fault Detection and Control Systems인용 수 53

한 줄 요약

이 논문은 유한한 마르코프 결정 과정(MDP)에서 알려지지 않은 안전 제약 조건을 가우시안 프로세스로 모델링하여 안전 탐색을 위한 새로운 알고리즘인 SAFEMDP를 제안한다. 경계 탐색과 도달 가능성 인식 계획을 결합함으로써, 노이즈가 있는 관측 조건 하에서도 안전하게 도달 가능한 상태 공간을 완전히 탐색하면서 안전 제약 조건을 위반하지 않는다.

ABSTRACT

In classical reinforcement learning agents accept arbitrary short term loss for long term gain when exploring their environment. This is infeasible for safety critical applications such as robotics, where even a single unsafe action may cause system failure or harm the environment. In this paper, we address the problem of safely exploring finite Markov decision processes (MDP). We define safety in terms of an a priori unknown safety constraint that depends on states and actions and satisfies certain regularity conditions expressed via a Gaussian process prior. We develop a novel algorithm, SAFEMDP, for this task and prove that it completely explores the safely reachable part of the MDP without violating the safety constraint. To achieve this, it cautiously explores safe states and actions in order to gain statistical confidence about the safety of unvisited state-action pairs from noisy observations collected while navigating the environment. Moreover, the algorithm explicitly considers reachability when exploring the MDP, ensuring that it does not get stuck in any state with no safe way out. We demonstrate our method on digital terrain models for the task of exploring an unknown map with a rover.

연구 동기 및 목표

• 안전 제약 조건이 사전에 알려지지 않았지만 규칙적이고 가우시안 프로세스로 모델링 가능한 유한한 MDP에서의 안전 탐색을 가능하게 하기 위해.
• 모든 안전하게 도달 가능한 상태를 위반 없이 완전히 탐색할 수 있는 알고리즘을 개발하기 위해.
• 탐색 중에 안전한 탈출 경로가 없는 상태에 갇히지 않도록 하기 위해, 탐색 과정에서 도달 가능성에 명시적으로 고려함으로써.
• 관측 기반의 학습을 통해 방문하지 않은 상태-행동 쌍의 안전성에 대한 통계적 신뢰를 구축하기 위해.

제안 방법

• 안전 제약 조건을 상태-행동 쌍에 대한 가우시안 프로세스 사전 분포로 모델링하여 안전성에 대한 사전 신념을 표현하기 위해.
• 환경 상호작용에서의 노이즈가 있는 관측을 사용하여 안전성에 대한 신뢰도를 갱신하고, 방문하지 않은 상태-행동 쌍에 대한 신뢰도를 향상시키기 위해.
• 안전한 상태와 행동을 우선시하면서도, 죽음의 고랑을 피하기 위해 도달 가능성 유지 전략을 수립한 탐색 전략을 설계하기 위해.
• 모든 탐색된 상태가 안전하게 탈출 가능하도록 보장하기 위해 도달 가능성 분석을 계획 과정에 통합하기 위해.
• 안전성과 탐색의 균형을 이루기 위해 신뢰 구간 접근법을 사용하여, 안전성이 통계적으로 유력한 경우에만 방문하지 않은 영역로 확장하기 위해.

실험 결과

연구 질문

• RQ1 안전 제약 조건이 알려지지 않았지만 부드럽고 규칙적인 경우, 알려지지 않은 유한한 MDP를 어떻게 안전하게 탐색할 수 있는가?
• RQ2 어떤 알고리즘 아키텍처가 안전 제약을 위반하지 않고 안전하게 도달 가능한 상태 공간을 완전히 탐색할 수 있는가?
• RQ3 탐색 중에 안전한 탈출 경로가 없는 상태에 갇히지 않도록 하기 위해 어떻게 보장할 수 있는가?
• RQ4 가우시안 프로세스 사전 분포는 제한된 노이즈가 있는 관측 자료로부터 얼마나 신뢰할 수 있는 안전성 추론을 지원할 수 있는가?

주요 결과

• SAFEMDP는 안전 제약 조건을 위반하지 않으면서도 MDP의 전체 안전하게 도달 가능한 영역을 성공적으로 탐색한다.
• 모든 탐색된 상태가 안전한 탈출 경로를 가지도록 보장함으로써 도달 가능성 유지 전략을 유지함으로써 갇힘을 방지한다.
• 관측 수집과 신중한 탐색을 통해 안전성에 대한 통계적 신뢰가 점진적으로 구축된다.
• 디지털 지형 모델에서의 실험을 통해, 로봇이 알려지지 않은 환경에서 효과적으로 안전 탐색을 수행할 수 있음을 입증하였다.