[논문 리뷰] Structured Reachability Analysis for Markov Decision Processes

Craig Boutilier, Ronen I. Brafman외 1명|arXiv (Cornell University)|2013. 01. 30.

Bayesian Modeling and Causal Inference참고 문헌 21인용 수 41

한 줄 요약

이 논문은 이산 확률적 상태 전이를 갖는 MDP에 대해 베이지안 네트워크와 같은 압축 표현을 사용하여 구조적 가용성 분석을 도입함으로써 효율적으로 가용 상태를 식별한다. 베이지안 네트워크의 구조적 특성에 기반해 확률적이고 상관관계가 있는 동작을 다룰 수 있도록 GRAPHPLAN 유사 기법을 확장함으로써, 관련이 없는 변수와 값의 제거가 가능해져 MDP 크기를 크게 줄이고 해법 가능성 향상에 기여한다. 특히 초기 상태가 알려져 있을 경우에 특히 효과적이다.

ABSTRACT

Recent research in decision theoretic planning has focussed on making the solution of Markov decision processes (MDPs) more feasible. We develop a family of algorithms for structured reachability analysis of MDPs that are suitable when an initial state (or set of states) is known. Using compact, structured representations of MDPs (e.g., Bayesian networks), our methods, which vary in the tradeoff between complexity and accuracy, produce structured descriptions of (estimated) reachable states that can be used to eliminate variables or variable values from the problem description, reducing the size of the MDP and making it easier to solve. One contribution of our work is the extension of ideas from GRAPHPLAN to deal with the distributed nature of action representations typically embodied within Bayes nets and the problem of correlated action effects. We also demonstrate that our algorithm can be made more complete by using k-ary constraints instead of binary constraints. Another contribution is the illustration of how the compact representation of reachability constraints can be exploited by several existing (exact and approximate) abstraction algorithms for MDPs.

연구 동기 및 목표

• 압축 표현을 활용한 상태공간 제거를 통한 문제 크기 감소를 통해 대규모 MDP의 계산 불가능성 문제를 해결한다.
• 결정 이론적 시스템에서 확장 가능한 계획 수립을 위해 MDP의 구조적이고 압축된 표현 방식을 활용한다.
• 기존의 고전적 계획 기법(예: GRAPHPLAN)에서 유도된 가용성 분석 기법을 확률적이고 상관관계가 있는 행동 효과를 갖는 영역으로 확장한다.
• 구조적이고 재사용 가능한 가용성 제약 조건을 제공함으로써 정확한 추상화 및 근사 추상화 방법을 모두 지원한다.
• 행동 표현에서 이元(2항) 제약 조건을 초월하는 k-항 제약 조건을 도입함으로써 가용성 추정의 완전성과 정확도를 향상시킨다.

제안 방법

• 구조적이고 압축된 상태 및 행동 의존성 표현을 위해 베이지안 네트워크 표현을 사용하여 MDP를 모델링한다.
• 목표에서 역행적으로 가용성 제약 조건을 전파하기 위해 수정된 GRAPHPLAN 스타일 알고리즘을 적용하며, 이는 확률적 행동 효과에 적응된 것이다.
• 행동 효과 간의 상관관계를 다루기 위해 행동을 단일 전이가 아닌 베이지안 네트워크 내 분포된 구조로 모델링한다.
• 기존의 이원 제약 조건에 비해 더 완전한 가용성 추정을 가능하게 하기 위해 k-항 제약 조건을 도입한다.
• 기존 MDP 모델에서 관련이 없는 변수나 변수 값의 제거에 사용할 수 있는 구조적 가용 상태 기술을 생성한다.
• 기존의 정확한 추상화 및 근사 추상화 기법에 유연하게 통합될 수 있도록 도출된 가용성 제약 조건을 통합한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크로 표현된 확률적이고 상관관계가 있는 행동을 갖는 MDP에 대해 구조적 가용성 분석을 어떻게 적응시킬 수 있는가?
• RQ2 구조적 표현에서 도출된 가용성 제약 조건이 MDP 복잡성 감소와 해법 가능성 향상에 얼마나 기여하는가?
• RQ3 k-항 제약 조건은 기존의 이원 제약 조건 대비 MDP 계획에서 가용성 추정의 완전성을 얼마나 향상시킬 수 있는가?
• RQ4 생성된 가용성 기술은 MDP의 다양한 추상화 알고리즘 간에 얼마나 효과적으로 재사용 가능한가?
• RQ5 MDP의 구조적 가용성 분석에서 계산 복잡성과 정확성 간의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 구조적 가용성 제약 조건을 통해 비가용 또는 관련 없는 변수와 변수 값의 제거를 통해 MDP 크기를 성공적으로 감소시켰다.
• 베이지안 네트워크 내 분포된 행동 표현을 다룰 수 있도록 GRAPHPLAN을 확장함으로써 확률적 영역에서 효과적인 가용성 분석이 가능해졌다.
• 이원 제약 조건에 비해 k-항 제약 조건을 사용함으로써 가용성 추정의 완전성이 향상되어 더 정확한 상태공간 제거가 가능해졌다.
• 압축된 가용성 기술은 정확한 추상화 알고리즘과 근사 추상화 알고리즘 모두와 호환되어 그 확장성 향상에 기여했다.
• 실험 결과는 이 접근법이 기존에 해결이 어려웠던 MDP의 유효 상태공간을 크게 줄여 표준 솔버로도 해법을 도출할 수 있음을 보여주었다.
• 특히 초기 상태 또는 초기 상태 집합이 알려져 있을 경우에 매우 효과적이며, 이는 타겟된 제거와 계획 효율성 향상에 기여한다.