[논문 리뷰] Hierarchical Solution of Markov Decision Processes using Macro-actions

Miloš Hauskrecht, Nicolas Meuleau외 3명|arXiv (Cornell University)|2013. 01. 30.

Formal Methods in Verification참고 문헌 21인용 수 224

한 줄 요약

이 논문은 매크로 액션(시간적으로 추상화된 액션)을 유일한 기초로 결정을 내리는 계층적 마르코프 결정 과정(MDP) 프레임워크를 제안한다. 이는 매크로 액션 영역 간의 경계 상태만 모델링하여 상태 공간을 크게 줄인다. 이러한 경계 상태 위에 추상 MDP를 구성하고 이를 효율적으로 해결함으로써 수렴 속도가 빨라지고 관련 작업 간에 계획을 재사용할 수 있다. 실험 결과는 평면 MDP에 비해 상당한 계산적 절감과 향상된 확장성 확보를 보여준다.

ABSTRACT

We investigate the use of temporally abstract actions, or macro-actions, in the solution of Markov decision processes. Unlike current models that combine both primitive actions and macro-actions and leave the state space unchanged, we propose a hierarchical model (using an abstract MDP) that works with macro-actions only, and that significantly reduces the size of the state space. This is achieved by treating macroactions as local policies that act in certain regions of state space, and by restricting states in the abstract MDP to those at the boundaries of regions. The abstract MDP approximates the original and can be solved more efficiently. We discuss several ways in which macro-actions can be generated to ensure good solution quality. Finally, we consider ways in which macro-actions can be reused to solve multiple, related MDPs; and we show that this can justify the computational overhead of macro-action generation.

연구 동기 및 목표

• 큰 상태 공간 환경에서 기존 MDP의 확장성 한계를 해결하기 위해.
• 기본 액션 대신 매크로 액션을 사용해 상태 공간을 추상화함으로써 계산 복잡도를 감소시키기 위해.
• 매크로 액션으로만 작동하는 계층적 MDP 모델을 개발하고, 해법 품질을 유지하기 위해.
• 매크로 액션의 생성 비용을 상쇄하기 위해 여러 관련 MDP 간에 매크로 액션을 재사용할 수 있도록 하기 위해.
• 매크로 액션 영역 간 경계 상태에 집중함으로써 계획 효율성을 향상시키기 위해.

제안 방법

• 상태 공간에서 매크로 액션이 적용되는 영역 간 경계를 상태로 하는 추상 MDP를 구성한다.
• 매크로 액션은 특정 상태 공간 영역 내에서 작동하는 국소 정책으로 간주되며, 전이가 오직 영역 경계에서만 정의된다.
• 원래 MDP를 근사하는 추상 MDP이지만, 상태 공간이 극적으로 감소하여 값 반복 또는 정책 반복을 더 빨리 수행할 수 있다.
• 옵션 또는 옵션 기반 학습을 사용해 매크로 액션을 생성함으로써, 그들이 해당 영역 내에서 효과적이고 일관되게 작동하도록 보장한다.
• 추상 MDP의 해를 원래 MDP로 투영하여 전체 문제에 대한 정책을 도출한다.
• 유사한 MDP들 간에 매크로 액션을 저장하고 재사용함으로써 재사용성을 확보하고, 매크로 액션 생성 비용을 분산시킨다.

실험 결과

연구 질문

• RQ1 매크로 액션만을 사용하는 계층적 MDP 프레임워크가 상태 공간을 크게 줄이고 계획 효율성을 향상시킬 수 있는가?
• RQ2 어떻게 하면 추상 MDP에서 높은 품질의 해를 확보할 수 있는 매크로 액션을 생성할 수 있는가?
• RQ3 여러 관련 MDP 간에 매크로 액션을 재사용하는 것이 그 생성 비용을 상쇄할 수 있는가?
• RQ4 추상 MDP가 원래 MDP를 잘 근사하면서도 수렴 속도를 높일 수 있는가?
• RQ5 추상 모델에서 모든 상태가 아닌 경계 상태에 집중하는 것이 어떤 영향을 미치는가?

주요 결과

• 매크로 액션만을 사용하는 추상 MDP는 상태 공간 크기를 크게 줄여 솔루션 시간을 빨리 한다.
• 경계 상태 추상화를 통한 계층적 접근은 대규모 문제에서 평면 MDP보다 계산 효율성이 뛰어나다.
• 옵션 기반 방법으로 생성된 매크로 액션은 추상 MDP에 적용했을 때 강력한 해 품질을 유지한다.
• 유사한 MDP들 간에 매크로 액션을 재사용함으로써 전체 계획 비용을 감소시켜 매크로 액션 생성의 초도 투자 비용을 상쇄한다.
• 기존 MDP 솔버가 상태 공간 폭발로 인해 실패하는 더 큰 문제에 대해서도 이 방법은 확장성 있는 성능을 보여준다.
• 실험 결과, 추상 MDP의 해는 원래 MDP의 최적 정책과 매우 유사하게 근사된다.