[논문 리뷰] Speeding Up Planning in Markov Decision Processes via Automatically Constructed Abstractions

Alejandro Isaza, Csaba Szepesvári외 2명|arXiv (Cornell University)|2012. 06. 13.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 3

한 줄 요약

이 논문은 중간 크기의 마르코프 결정 과정(MDP)에서 계획을 가속화하기 위해 자동으로 생성되는 다중 수준의 추상화 계층을 제안한다. 특히 스토케스틱 최단경로 문제에 대해, 점점 더 흐린 추상화를 구성하고 최상위 수준에서 정책을 재귀적으로 개선함으로써, 최신 기술 수준의 솔버보다 최대 100배 빠른 성능을 달성하면서도 near-optimal 해법을 유지한다. 이 방법은 추상화로 인한 최적성 손실에 대한 이론적 경계도 제공한다.

ABSTRACT

In this paper, we consider planning in stochastic shortest path (SSP) problems, a subclass of Markov Decision Problems (MDP). We focus on medium-size problems whose state space can be fully enumerated. This problem has numerous important applications, such as navigation and planning under uncertainty. We propose a new approach for constructing a multi-level hierarchy of progressively simpler abstractions of the original problem. Once computed, the hierarchy can be used to speed up planning by first finding a policy for the most abstract level and then recursively refining it into a solution to the original problem. This approach is fully automated and delivers a speed-up of two orders of magnitude over a state-of-the-art MDP solver on sample problems while returning near-optimal solutions. We also prove theoretical bounds on the loss of solution optimality resulting from the use of abstractions.

연구 동기 및 목표

• 완전히 열거 가능한 상태 공간을 가진 중간 크기의 MDP에서 계획의 계산 비효율성을 해결하기 위해.
• 계획을 단순화하기 위해 계층적 추상화를 자동으로 생성하는 완전 자동화된 방법을 개발하기 위해.
• 해결 품질을 훼손하지 않으면서 계획 시간을 크게 줄이기 위해.
• 추상화로 인한 최적성 손실에 대한 이론적 보장을 제공하기 위해.
• 항상성 있는 환경, 예를 들어 내비게이션 및 불확실성 하에서의 의사결정과 같은 확장 가능한 계획을 가능하게 하기 위해.

제안 방법

• 원래 MDP 상태 공간의 점점 더 흐린 추상화로 구성된 다중 수준의 계층을 생성한다.
• 상태 유사성과 전이 구조를 바탕으로 자동 절차를 통해 추상화를 생성한다.
• 가장 추상적인 수준에서 값 반복 또는 유사한 계획 알고리즘을 적용하여 흐린 정책을 찾는다.
• 원래 문제에 도달할 때까지 추상화 수준을 거쳐 정책을 재귀적으로 개선한다.
• 추상 수준에서 정책을 더 세밀한 상태로 매핑하기 위해 투영 메커니즘을 사용한다.
• 최적성에 대한 이론적 경계를 통합하여, 솔루션 품질이 알려진 한계 내에서 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 자동 추상화 계층이 중간 크기의 MDP에서 계획 시간을 크게 줄일 수 있는가?
• RQ2 원래 문제를 푸는 것과 비교해 추상화된 MDP를 사용할 경우 최적성은 얼마나 손실되는가?
• RQ3 수동 조정 없이도 추상화 과정을 완전히 자동화할 수 있는가?
• RQ4 재귀적 정책 개선 과정이 다수의 추상화 수준에서 near-optimal 성능을 유지하는가?
• RQ5 추상화에서 유도된 솔루션의 부분최적성에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 방법은 벤치마크 문제에서 최신 기술 수준의 MDP 솔버보다 최대 100배(100x) 빠른 성능을 달성한다.
• 제안된 솔루션은 near-optimal이며, 추상화로 인한 부분최적성 갭에 대한 이론적 경계가 있다.
• 추상화 계층은 완전히 자동화되어 있어 수동 설계나 튜닝이 필요하지 않다.
• 재귀적 정책 개선 과정은 흐린 수준에서 더 세밀한 수준으로 지식을 효과적으로 전달한다.
• 이 방법은 내비게이션 및 불확실성 하에서의 의사결정과 같은 실제 응용 분야에서 효과적이다.
• 다양한 복잡도를 가진 다양한 문제 인스턴스에 걸쳐 강력한 성능을 유지한다.