[논문 리뷰] Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes

Thomas Dean, Robert Givan외 1명|arXiv (Cornell University)|2013. 02. 06.

Formal Methods in Verification참고 문헌 19인용 수 104

한 줄 요약

이 논문은 큰, 암묵적인 마르코프 결정 과정(MDP)을 더 작은, 경계가 있는 파rameter MDP(BMDP)로 줄이는 데 epsilon-균일한 상태공간 분할을 도입한다. 형식적 검증 기법을 활용해 모델 축소를 수행함으로써, 제어 가능한 오차 한계를 갖는 근사 최적 정책을 효율적으로 계산할 수 있으며, 이는 솔루션 품질을 조금 낮추면서도 상태공간 크기와 계산 비용을 줄이는 데 기여한다.

ABSTRACT

We present a method for solving implicit (factored) Markov decision processes (MDPs) with very large state spaces. We introduce a property of state space partitions which we call epsilon-homogeneity. Intuitively, an epsilon-homogeneous partition groups together states that behave approximately the same under all or some subset of policies. Borrowing from recent work on model minimization in computer-aided software verification, we present an algorithm that takes a factored representation of an MDP and an 0<=epsilon<=1 and computes a factored epsilon-homogeneous partition of the state space. This partition defines a family of related MDPs - those MDPs with state space equal to the blocks of the partition, and transition probabilities "approximately" like those of any (original MDP) state in the source block. To formally study such families of MDPs, we introduce the new notion of a "bounded parameter MDP" (BMDP), which is a family of (traditional) MDPs defined by specifying upper and lower bounds on the transition probabilities and rewards. We describe algorithms that operate on BMDPs to find policies that are approximately optimal with respect to the original MDP. In combination, our method for reducing a large implicit MDP to a possibly much smaller BMDP using an epsilon-homogeneous partition, and our methods for selecting actions in BMDPs constitute a new approach for analyzing large implicit MDPs. Among its advantages, this new approach provides insight into existing algorithms to solving implicit MDPs, provides useful connections to work in automata theory and model minimization, and suggests methods, which involve varying epsilon, to trade time and space (specifically in terms of the size of the corresponding state space) for solution quality.

연구 동기 및 목표

• 상태공간이 비현실적으로 큰, 암묵적인 MDP를 해결하는 데 도전하는 것.
• 정책의 근사 최적성을 유지하면서 상태공간 크기를 줄이는 방법을 개발하는 것.
• 불확실성 하에서 강건한 정책 계산을 위해 경계가 있는 파rameter MDP(BMDP)의 개념을 체계화하는 것.
• 조정 가능한 epsilon를 통해 계산 비용, 메모리 사용량, 솔루션 품질 간의 트레이드오프를 가능하게 하는 것.
• MDP 솔루션 기법과 모델 최소화 및 옴타이터 이론을 연결하여 확장 가능한 성능을 향상시키는 것.

제안 방법

• 일부 정책 하에서 동일한 블록에 속한 상태들이 약간의 오차 내에서 동일하게 행동하는 epsilon-균일한 상태 블록의 개념을 도입한다.
• 요약된 MDP 표현에서 사실화된 epsilon-균일한 분할을 계산하기 위한 알고리즘을 개발한다.
• 원래 MDP의 블록에서 유도된 간격 내에서 전이 및 보상 확률이 경계된 상태를 블록으로 집계함으로써 BMDP를 구성한다.
• BMDP 해법 알고리즘을 적용하여 원래 MDP에 대해 근사적으로 최적인 정책을 찾는다.
• 경계가 있는 파rameter 프레임워크를 활용해 축소된 모델에서 유도된 정책가 원래 모델에서 성능 보장을 유지하도록 보장한다.
• 근사 정확도와 모델 크기 간의 트레이드오프를 제어하기 위해 파라미터 epsilon을 사용한다.

실험 결과

연구 질문

• RQ1 관련 정책 하에서 각 블록 내의 상태들이 약간의 오차 내에서 거의 동일하게 행동하도록 상태공간 분할을 구성할 수 있는가?
• RQ2 원래 솔루션 품질을 유지하면서 큰 암묵적 MDP를 더 작은 경계가 있는 파rameter MDP로 줄일 수 있는가?
• RQ3 원래 MDP와 비교해 축소된 BMDP에서 계산된 정책의 성능에 대해 어떤 체계적인 보장을 제공할 수 있는가?
• RQ4 계산 효율성과 솔루션 정확도 사이의 트레이드오프를 체계적으로 제어할 수 있는가?
• RQ5 MDP 모델 축소와 형식적 검증에서의 모델 최소화 기법 사이에 어떤 연결 고리가 존재하는가?

주요 결과

• 이 방법은 epsilon-균일한 분할을 활용해 큰 암묵적 MDP를 상당히 작은 BMDP로 성공적으로 축소한다.
• 축소된 BMDP에서 계산된 정책는 원래 MDP에 대해 근사적으로 최적이며, 오차가 epsilon 이내로 제한된다.
• 이 방법은 기존에 상태공간 크기로 인해 해결이 불가능한 MDP의 스케일러블한 해법을 가능하게 한다.
• epsilon 파라미터를 통해 솔루션 품질과 계산 비용 간의 체계적 트레이드오프를 지원한다.
• 모델 최소화와의 연결은 이론적 기반과 분할 계산을 위한 실용적인 알고리즘을 제공한다.
• 이 방법은 기존 MDP 알고리즘에 대한 통찰을 제공하며, 확장 가능한 강화 학습의 새로운 방향을 제안한다.