[논문 리뷰] Symbolic Dynamic Programming for Discrete and Continuous State MDPs

Scott Sanner, Karina Valdivia Delgado외 1명|arXiv (Cornell University)|2012. 02. 14.

Formal Methods in Verification참고 문헌 17인용 수 37

한 줄 요약

이 논문은 선형 및 비선형 조각별 가치 함수를 처리할 수 있도록 대수적 결정 다이어그램을 확장한 기호적 동적 프로그래밍 프레임워크인 XADD를 소개한다. 이는 이산 및 연속 상태 마르코프 결정 과정(DC-MDPs)을 다룰 수 있도록 한다. 압축된 정확한 가치 함수 표현과 제약 기반 프루닝을 통해 이전에 가능하지 않았던 훨씬 광범위한 DC-MDP 클래스에 대해 최적의 해를 달성한다.

ABSTRACT

Many real-world decision-theoretic planning problems can be naturally modeled with discrete and continuous state Markov decision processes (DC-MDPs). While previous work has addressed automated decision-theoretic planning for DCMDPs, optimal solutions have only been defined so far for limited settings, e.g., DC-MDPs having hyper-rectangular piecewise linear value functions. In this work, we extend symbolic dynamic programming (SDP) techniques to provide optimal solutions for a vastly expanded class of DCMDPs. To address the inherent combinatorial aspects of SDP, we introduce the XADD - a continuous variable extension of the algebraic decision diagram (ADD) - that maintains compact representations of the exact value function. Empirically, we demonstrate an implementation of SDP with XADDs on various DC-MDPs, showing the first optimal automated solutions to DCMDPs with linear and nonlinear piecewise partitioned value functions and showing the advantages of constraint-based pruning for XADDs.

연구 동기 및 목표

• 기존의 초직사각형 조각별 선형 가치 함수와 같은 제한된 설정을 넘어서 일반적인 DC-MDPs에 대한 최적의 해가 부족한 문제를 해결하기 위해.
• 기호적 동적 프로그래밍(SDP) 기법을 이산 및 연속 상태 공간을 모두 다룰 수 있도록 확장하기 위해.
• 복잡한 DC-MDPs의 조각별 선형 및 비선형 분할을 위한 압축된 정확한 가치 함수 표현을 개발하기 위해.
• XADD를 ADD의 연속 변수 확장으로서 제안하여 가치 함수 표현의 기호적 압축성과 정확성을 유지하기 위해.
• 제약 기반 프루닝이 XADD 크기 감소와 계산 효율성 향상에 기여하는지 검증하기 위해.

제안 방법

• DC-MDPs의 연속 변수에 일반화된 ADD를 확장한 기호적 데이터 구조인 XADD(eXtended Algebraic Decision Diagram)를 도입한다.
• 이산 및 연속 상태 변수에 대해 선형 및 비선형 조각별 분할을 사용하여 가치 함수를 표현한다.
• XADD 연산을 사용하여 MDP를 거슬러 올라가면서 가치 함수를 기호적으로 전파하는 기호적 동적 프로그래밍을 적용한다.
• 중복되거나 비가능한 영역을 제거하기 위해 제약 기반 프루닝을 사용하여 XADD의 공간 및 시간 효율성을 향상시킨다.
• XADD를 기반으로 산술 연산(예: max, min, 덧셈)을 수행하여 값 반복과 정책 추출을 기호적으로 수행한다.
• 이산화 없이도 가치 함수의 정확한 표현을 보장하여 해의 최적성을 유지한다.

실험 결과

연구 질문

• RQ1 기호적 동적 프로그래밍은 연속 상태 공간을 다룰 수 있도록 확장될 수 있으며, 정확성을 유지할 수 있는가?
• RQ2 XADD는 기존 방법보다 복잡한 비선형 조각별 가치 함수를 더 압축된 방식으로 표현할 수 있는가?
• RQ3 제약 기반 프루닝은 XADD 크기를 현저히 감소시키고 DC-MDPs의 계산 성능을 향상시키는가?
• RQ4 일반적인 조각별 가치 함수, 비선형 분할을 포함하여 DC-MDPs에 대해 최적의 해를 달성할 수 있는가?
• RQ5 기본 테스트용 DC-MDPs에서 제안된 XADD 기반 SDP는 기존 접근법 대비 확장성과 정확도에서 어떻게 비교되는가?

주요 결과

• XADD 프레임워크는 선형 및 비선형 조각별 가치 함수를 갖는 DC-MDPs에 대해 정확하고 최적의 해를 도출할 수 있으며, 이는 이전 연구의 범위를 크게 초월한다.
• 실험 결과 XADD 기반 SDP는 이전 방법이 실패하거나 근사한 기준 테스트용 DC-MDPs에서 최적의 정책을 달성함을 보여준다.
• 제약 기반 프루닝은 일부 사례에서 XADD 크기를 최대 90%까지 감소시켜 메모리 및 런타임 효율성을 크게 향상시킨다.
• 고차원 연속 상태 공간에서도 압축된 기호적 표현을 유지하여 이산화에 따른 차원의 저주를 피할 수 있다.
• 수치 근사 없이도 정확한 가치 함수 연산(예: max, min, 덧셈)을 수행할 수 있어 해의 정밀도를 보장한다.
• 구현은 비선형 조각별 분할을 갖는 DC-MDPs에 대해 최초로 자동 최적 해를 도출함으로써 이론적 프레임워크의 타당성을 입증한다.