[논문 리뷰] Safe Exploration in Markov Decision Processes

Teodor Mihai Moldovan, Pieter Abbeel|arXiv (Cornell University)|2012. 05. 22.

Reinforcement Learning in Robotics참고 문헌 28인용 수 60

한 줄 요약

이 논문은 강화학습에서 물리적 시스템에 대한 안전 보장을 확보하기 위해, 정책이 높은 확률로 유흥성(ergodicity)을 유지하도록 보장하는 안전한 탐색 프레임워크를 제안한다. 이는 학습 중 시스템 장애를 방지한다. 안전성은 보장된 안전 정책의 부분집합에 대한 제약 최적화를 통해 정의되며, 탐색 보너스와 호환되는 증명 가능한 안전한 탐색을 가능하게 한다. 이는 격자 세계와 화성 지형 시뮬레이션에서 불안전한 방법보다 뛰어난 성능을 보이며, 계산적으로도 타당하다.

ABSTRACT

In environments with uncertain dynamics exploration is necessary to learn how to perform well. Existing reinforcement learning algorithms provide strong exploration guarantees, but they tend to rely on an ergodicity assumption. The essence of ergodicity is that any state is eventually reachable from any other state by following a suitable policy. This assumption allows for exploration algorithms that operate by simply favoring states that have rarely been visited before. For most physical systems this assumption is impractical as the systems would break before any reasonable exploration has taken place, i.e., most physical systems don't satisfy the ergodicity assumption. In this paper we address the need for safe exploration methods in Markov decision processes. We first propose a general formulation of safety through ergodicity. We show that imposing safety by restricting attention to the resulting set of guaranteed safe policies is NP-hard. We then present an efficient algorithm for guaranteed safe, but potentially suboptimal, exploration. At the core is an optimization formulation in which the constraints restrict attention to a subset of the guaranteed safe policies and the objective favors exploration policies. Our framework is compatible with the majority of previously proposed exploration methods, which rely on an exploration bonus. Our experiments, which include a Martian terrain exploration problem, show that our method is able to explore better than classical exploration methods.

연구 동기 및 목표

• 유흥성이 성립하지 않는 물리적 시스템에 대한 강화학습에서 안전 보장이 부족한 문제를 해결하기 위해.
• 불확실성 하에서 유흥성 제약을 통한 MDPs에서의 안전성 정의를 통해 탐색 중 시스템 안정성을 확보하기 위해.
• 정확한 안전성 확보가 NP-난해한 경우에도 적용 가능한 효율적인 근사 알고리즘을 개발하기 위해.
• 기존 탐색 보너스와의 통합을 통해 다양한 탐색 알고리즘과의 호환성을 확보하기 위해.
• 복잡한 환경, 특히 50×100 격자 세계와 화성 지형 시뮬레이션에서 방법의 성능을 검증하기 위해.

제안 방법

• 최소 확률 δ로 유흥성을 유지함으로써 정책이 어떤 상태라도 접근 가능하도록 보장하는 안전성 정의를 제안한다.
• 상태 높이에 대한 상관관계가 있는 가우시안 분포를 동적 불확실성으로 모델링하며, HiRISE 데이터와 원격 감지 모델을 활용해 사전 믿음을 설정한다.
• 정보성 있는 상태 전이를 장려하기 위해 엔트로피의 일阶 근사값을 탐색 보너스로 사용한다.
• 선형 프로그래밍을 통해 안전성 제약을 도입하여, 불확실성 하에서도 유흥성을 유지하는 정책에 국한한다.
• NP-난해한 안전 정책 선택 문제의 볼록 근사를 사용하여, 안전성 제약 하에서 탐색 보너스를 최대화함으로써 탐색을 최적화한다.
• 각 단계 후 전이 확률을 갱신하는 믿음 기반 MDP 설정을 사용하여 지식 향상과 함께 반복적 재계획을 가능하게 한다.

실험 결과

연구 질문

• RQ1 유흥성 가정에 의존하지 않고 MDPs에서 안전한 탐색을 공식적으로 정의할 수 있는가?
• RQ2 효율적인 알고리즘을 설계하여 안전성을 보장하면서도 효과적인 탐색을 가능하게 할 수 있는가?
• RQ3 고위험 환경에서 표준 탐색 알고리즘과 비교해 본다면, 제안된 방법은 안전성과 커버리지 측면에서 어떤가?
• RQ4 기존 탐색 보너스와의 통합이 안전성에 영향을 주지 않도록 할 수 있는가?
• RQ5 화성 지형과 같은 대규모 MDPs에서 안전성 제약을 적용할 경우 계산 비용은 얼마나 되는가?

주요 결과

• 제안된 안전한 탐색 방법은 50×100 격자 세계를 성공적으로 탐색하여 불안전한 방법보다 뛰어난 커버리지 성능을 달성했다.
• 화성 지형 시뮬레이션에서 안전 수준 0.98일 때, 불안전한 탐색은 크레이터에 갇히는가에 비해 제안된 방법은 훨씬 더 넓은 영역을 커버했다.
• 기대 전이에 기반한 난이도 높은 안전 제약은 조차도 0.98 수준에서도 성능이 열악했으며, 이는 불확실성 인식 기반 안전성의 필요성을 강조한다.
• 화성 실험에서 평균 계산 시간은 안전 수준 0.98일 때 1단계당 5.86초였으며, 높은 안전 수준일수록 계산 시간이 증가했다.
• 안전성을 보장하면서도 near-optimal 탐색 성능을 달성하여, 불안전한 방법과 난이도 높은 제약을 적용한 방법보다 뛰어난 성능을 보였다.
• 이 프레임워크는 동시에 여러 안전 기준을 지원할 수 있으며, 예를 들어 안전 영역에서의 탈출 확률 상한선이나 기대 보상 기준을 설정할 수 있다.