[논문 리뷰] Safe Exploration in Markov Decision Processes with Time-Variant Safety using Spatio-Temporal Gaussian Process

Akifumi Wachi, Hiroshi Kajino외 1명|arXiv (Cornell University)|2018. 09. 12.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 사전에 알려지지 않은 안전 제약 조건을 가진 마르코프 결정 과정(MDP)에서의 안전 탐색을 위한 새로운 알고리즘인 ST-SafeMDP를 제안한다. 이 알고리즘은 시공간 가우시안 프로세스를 사용하여 변화하는 안전 함수를 모델링하고, 최악의 경우 누적 안전 상태 수를 최대화하기 위한 최소-최대 최적화 문제를 설정함으로써, 불확실하고 동적인 환경(예: 달 표면)에서 안전성을 확보하면서 안전 영역을 효율적으로 확장한다.

ABSTRACT

In many real-world applications (e.g., planetary exploration, robot navigation), an autonomous agent must be able to explore a space with guaranteed safety. Most safe exploration algorithms in the field of reinforcement learning and robotics have been based on the assumption that the safety features are a priori known and time-invariant. This paper presents a learning algorithm called ST-SafeMDP for exploring Markov decision processes (MDPs) that is based on the assumption that the safety features are a priori unknown and time-variant. In this setting, the agent explores MDPs while constraining the probability of entering unsafe states defined by a safety function being below a threshold. The unknown and time-variant safety values are modeled using a spatio-temporal Gaussian process. However, there remains an issue that an agent may have no viable action in a shrinking true safe space. To address this issue, we formulate a problem maximizing the cumulative number of safe states in the worst case scenario with respect to future observations. The effectiveness of this approach was demonstrated in two simulation settings, including one using real lunar terrain data.

연구 동기 및 목표

• 시간에 따라 변화하고 사전에 알려지지 않은 안전 제약 조건이 존재하는 환경(예: 조명 조건이나 지형 변화가 있는 행 星 탐사)에서의 안전 탐색을 해결하기 위해.
• 기존의 안전 강화 학습 방법이 시간에 불변하는 안전성을 가정하기 때문에 안전 영역이 점점 줄어들어 갇힐 수 있는 한계를 극복하기 위해.
• 최악의 미래 관측치를 고려하여 안전성을 고려하면서도 안전 영역의 확장을 최대화하는 방법을 개발하기 위해.
• 통신 지연이 긴 안전 핵심 응용 분야(예: 달 탐사 차량)에서 자율적이고 현장 기반의 의사결정을 가능하게 하기 위해.
• 탐색 효율성과 안전성을 균형 잡기 위해 재현율(확장)과 정밀도(거짓 긍정 방지)를 동시에 최적화하기 위해.

제안 방법

• 공간적 및 시간적 상관관계를 포괄하는 복합 커널을 사용한 시공간 가우시안 프로세스를 활용하여 시간에 따라 변화하는 안전 함수를 모델링한다.
• 가우시안 프로세스의 사후 평균과 분산을 사용하여 미래의 안전 값을 예측하고, 불확실성을 반영하여 예측된 안전 영역을 정의한다.
• 안전 함수 값의 하한을 리프시츠 연속성 조건을 고려하여 최악의 경우 누적 안전 상태 수를 최대화하는 최소-최대 최적화 문제를 수립한다.
• 가우시안 프로세스의 평균과 신뢰구간 너비의 가중 조합을 기반으로 다음 탐색 타겟을 선택하며, 안전 영역 확장을 가능하게 할 수 있는 불확실한 상태를 우선순위로 한다.
• 안전 상태를 g(t, s) ≥ h 를 만족하는 상태로 정의하고, 모든 동작이 예측된 안전 영역 내에 국한되도록 보장한다.
• 모든 t에 대해 βt = 2로 설정하여 강건성 제약 조건을 통합하고, 환경의 동적 특성을 반영하기 위해 공간적(ks, kŝ) 및 시간적(kt, kt̂) 커널의 길이 척도와 분산을 조정한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하고 사전에 알려지지 않은 안전 함수가 존재하는 환경에서, 안전 탐색 알고리즘이 안전 보장을 유지할 수 있는가?
• RQ2 안전 제약 조건이 시간에 따라 변화함에 따라, 에이전트가 점점 줄어드는 안전 영역에 갇히지 않도록 할 수 있는가?
• RQ3 최악의 미래 관측치에 대한 최소-최대 공식화가 안전성과 탐색 효율성의 향상에 어느 정도 기여하는가?
• RQ4 시공간 가우시안 프로세스는 실세계 환경(예: 달 표면)에서 동적인 안전 함수를 효과적으로 모델링할 수 있는가?
• RQ5 기본선인 ST-SafeMDP 알고리즘이 안전성(정밀도), 효율성(재현율), 실패율 측면에서 기존 방법보다 어떻게 뛰어나게 되는가?

주요 결과

• 100회의 몬테카를로 시뮬레이션을 수행한 합성 시뮬레이션에서 ST-SafeMDP는 네 가지 기준선보다 정확도, 정밀도, 재현율, 실패 횟수 측면에서 뛰어난 성능을 보였다.
• 기준선 대비 높은 정밀도(0.92)와 재현율(0.85)을 달성하여 강력한 안전 보장을 확보하고 안전 영역의 효과적인 확장을 입증했다.
• 달 표면 시뮬레이션에서 ST-SafeMDP는 높은 안전성(정밀도 > 0.9)을 유지하면서도 가장 높은 재현율(0.85)을 기록하여 효율적이고 안전한 탐색을 실현했다.
• 최소-최대 공식화가 최악의 미래 관측치 조건에서도 안전 영역이 예기치 않게 축소되는 것을 효과적으로 방지했다.
• 시공간 가우시안 프로세스 모델링을 통해 시간에 따라 변화하는 안전 함수를 정확하게 예측할 수 있었으며, ST-SafeMDP의 경우 RMSE를 1.0으로 정규화했고, 안전하지 않은 기준선보다 낮았다.
• 시각적 비교(그림 5)는 ST-SafeMDP가 가장 큰 안전 영역을 탐색하면서도 최소한의 비안전 행동을 기록했음을 확인했으며, 시간에 불변하는 전략과 안전하지 않은 탐색 전략을 모두 능가했다.