[논문 리뷰] SPUDD: Stochastic Planning using Decision Diagrams

Jesse Hoey, Robert St‐Aubin외 2명|arXiv (Cornell University)|2013. 01. 23.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 387

한 줄 요약

SPUDD는 상태 공간이 큰 마르코프 결정 과정(MDPs)에서 효율적인 계획을 가능하게 하기 위해 가치 함수와 정책을 압축적으로 표현하는 대칭 결정 다이어그램(ADDs)을 사용하는 값 반복 알고리즘을 제안한다. 동적 프로그래밍을 ADD 및 베이지안 네트워크 표현에 직접 적용함으로써, 트리 구조적 방법 대비 최대 30배 적은 노드 수로 최적의 가치 함수를 표현할 수 있었으며, 최대 6300만 개 상태를 가진 문제에서 뚜렷한 확장성을 입증하였다.

ABSTRACT

Markov decisions processes (MDPs) are becoming increasing popular as models of decision theoretic planning. While traditional dynamic programming methods perform well for problems with small state spaces, structured methods are needed for large problems. We propose and examine a value iteration algorithm for MDPs that uses algebraic decision diagrams(ADDs) to represent value functions and policies. An MDP is represented using Bayesian networks and ADDs and dynamic programming is applied directly to these ADDs. We demonstrate our method on large MDPs (up to 63 million states) and show that significant gains can be had when compared to tree-structured representations (with up to a thirty-fold reduction in the number of nodes required to represent optimal value functions).

연구 동기 및 목표

• 기존의 동적 프로그래밍 기법이 큰 상태 공간 MDP에서 가지는 확장성 한계를 해결하기 위해.
• 고차원 결정 문제에서 가치 함수와 정책을 효율적으로 인코딩할 수 있는 구조적 표현 방법을 개발하기 위해.
• 대칭 결정 다이어그램(ADDs)과 베이지안 네트워크를 활용하여 MDP에서 효율적인 값 반복을 가능하게 하기 위해.
• 대규모 계획 문제에서 트리 구조적 표현 방식에 비해 메모리 및 계산 효율성 측면에서 뚜렷한 이점을 보일 수 있도록 하기 위해.

제안 방법

• MDP는 상태 전이와 보상을 모델링하기 위해 베이지안 네트워크를 사용하여 표현한다.
• 가치 함수와 정책은 대칭 결정 다이어그램(ADDs)을 통해 인코딩되어, 압축적이고 기호적인 조작이 가능해진다.
• 값 반복과 벨먼 백업과 같은 동적 프로그래밍 연산이 ADD 구조에 직접 적용된다.
• 모든 상태를 명시적으로 나열하지 않고도 최적의 정책을 계산하기 위해 ADD에 대해 최소화 및 최대화 연산을 수행한다.
• 값 반복 과정에서 ADD는 반복적으로 갱신되어, 모든 상태에 대한 가치 함수의 압축된 표현을 유지한다.
• MDP의 희박성과 구조적 특성을 활용하여 ADD 내 공유된 부분 구조를 탐지하고, 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 대칭 결정 다이어그램(ADDs)은 최소한의 메모리 오버헤드로 큰 MDP에서 가치 함수와 정책을 효과적으로 표현할 수 있는가?
• RQ2 기존의 트리 구조적 표현 방식에 비해 ADD 기반 동적 프로그래밍은 메모리 효율성과 확장성 측면에서 어떻게 비교되는가?
• RQ3 ADD는 MDP의 구조를 어느 정도 유지함으로써, 명시적 상태 나열 없이도 효율적인 값 반복을 가능하게 할 수 있는가?
• RQ4 수십백만 개의 상태를 가진 MDP에 대해 이 방법이 계산 가능성을 유지하면서도 확장성 있게 작동할 수 있는가?
• RQ5 ADD를 사용할 경우 트리 구조적 표현 방식 대비 노드 수 감소 비율은 어느 정도인가?

주요 결과

• SPUDD 방법은 트리 구조적 표현 방식 대비 최적의 가치 함수를 표현하기 위해 필요한 노드 수를 최대 30배 감소시켰다.
• 이 방법은 최대 6300만 개 상태를 가진 MDP에 성공적으로 확장되어, 대규모 계획 문제의 실현 가능성을 입증하였다.
• ADD 기반 표현을 통해 모든 상태를 명시적으로 나열하지 않아도 효율적인 동적 프로그래밍을 수행할 수 있었다.
• 복잡한 고차원 영역에서도 정책 계산의 정확도를 높게 유지하였다.
• ADD 내 공유된 부분 구조의 압축적 인코딩 덕분에 뚜렷한 메모리 절감 효과를 관찰하였다.
• 결과적으로, ADD를 활용한 구조적 표현 방식은 큰 MDP에서 기존의 값 반복 기법에 비해 실현 가능하고 효율적인 대안임을 보여주었다.