[논문 리뷰] Adaptive Belief Discretization for POMDP Planning

Divya Grover, Christos Dimitrakakis|arXiv (Cornell University)|2021. 04. 15.

Formal Methods in Verification참고 문헌 14인용 수 4

한 줄 요약

이 논문은 라이트-어프로치 깊이에 따라 민감하게 조정되는 민감도 기반 belief 공간 커버를 동적으로 정교화함으로써 메모리 사용량과 계산 복잡도를 줄이는 온라인 POMDP 계획을 위한 적응형 민감도 이산화 방법을 제안한다. 계획 오차와 커버링 수에 대한 이론적 경계를 제공함으로써, 최소한의 튜닝으로도 최신 기술 수준에 맞추거나 이를 초월하는 계산 효율적인 솔버(FMP)를 가능하게 한다.

ABSTRACT

Partially Observable Markov Decision Processes (POMDP) is a widely used model to represent the interaction of an environment and an agent, under state uncertainty. Since the agent does not observe the environment state, its uncertainty is typically represented through a probabilistic belief. While the set of possible beliefs is infinite, making exact planning intractable, the belief space's complexity (and hence planning complexity) is characterized by its covering number. Many POMDP solvers uniformly discretize the belief space and give the planning error in terms of the (typically unknown) covering number. We instead propose an adaptive belief discretization scheme, and give its associated planning error. We furthermore characterize the covering number with respect to the POMDP parameters. This allows us to specify the exact memory requirements on the planner, needed to bound the value function error. We then propose a novel, computationally efficient solver using this scheme. We demonstrate that our algorithm is highly competitive with the state of the art in a variety of scenarios.

연구 동기 및 목표

• 무한한 민감도 공간으로 인해 정확한 POMDP 계획이 높은 메모리 및 계산 비용을 유발하는 문제를 해결하기 위해.
• 일반적인 민감도 이산화 방식을 라이트-어프로치 깊이에 맞게 조정된 적응형 방식으로 대체함으로써 계획 오차를 줄이기 위해.
• POMDP 매개변수(예: 상태공간 크기, 행동공간 크기, 할인 인자 등)를 기반으로 민감도 공간의 커버링 수에 대한 명시적 이론적 경계를 제공하기 위해.
• 조정 가능한 이산화 매개변수를 통해 계획 오차에 직접적인 제어를 가능하게 하는 계획자 설계를 위해.
• 최소한의 하이퍼파rameter 튜닝으로도 강력한 성능을 유지하는 계산 효율적인 온라인 POMDP 솔버 개발을 위해.

제안 방법

• 라이트-어프로치 깊이와 오차 허용 범위에 따라 의존하는 크기의 민감도 공간 커버를 생성하는 적응형 이산화 기법을 제안한다.
• 에프실론-커버를 사용하여 민감도 공간을 근사하며, 깊이에 따라 결정되는 오차 경계를 기반으로 동적으로 정교화함으로써 커버 크기를 최소화한다.
• 상태공간 크기, 행동공간 크기, 할인 인자 등의 POMDP 매개변수를 사용하여 민감도 공간의 커버링 수에 대한 이론적 상한선을 유도한다.
• 적응형 이산화를 새로운 온라인 계획자(FMP)에 통합하여 오차를 통제하는 깊은 라이트-어프로치 트리를 구축한다.
• 민감도 공간에서 불확실성 또는 잠재적 가치가 높은 영역을 우선적으로 탐색하는 민감도 트리 탐색 전략을 사용하며, 이는 적응형 커버에 의해 안내된다.
• 메모리 및 계산 비용의 균형을 확보하기 위해 이산화 시퀀스 $\epsilon_d$ 와 초기 해상도 $h_0$ 를 튜닝한다.

실험 결과

연구 질문

• RQ1 어떻게 라이트-어프로치 깊이에 따라 민감도 공간 이산화를 적응형으로 조정하여 POMDP 계획에서 메모리 사용량과 계산 복잡도를 줄일 수 있는가?
• RQ2 민감도 공간의 커버링 수와 기초가 되는 POMDP 매개변수 사이의 이론적 관계는 무엇인가?
• RQ3 적응형 이산화 기법이 균일한 이산화보다 더 날카운 계획 오차 경계를 제공할 수 있는가?
• RQ4 제안된 방법의 오차 경계는 계획자의 메모리 및 계산 요구사항과 어떻게 관련이 있는가?
• RQ5 간단하고 튜닝이 적은 계획자는 최신 기술 수준의 POMDP 솔버와 경쟁할 정도로 높은 성능을 달성할 수 있는가?

주요 결과

• FMP 계획자는 RockSample 및 RandomPOMDP 환경에서 경쟁 가능한 성능을 달성하였으며, 느린 파이썬 구현에도 불구하고 POMCP 및 DESPOT과 동일하거나 이를 초월하는 평균 할인 보상치를 기록하였다.
• RS[15,15] 환경에서 FMP는 할인 보상 15.67 ± 0.37을 기록하여, 보고된 결과에서 POMCP(15.32 ± 0.28)와 DESPOT(18.64 ± 0.28)를 모두 뛰어넘었다.
• RandomPOMDP 환경에서는 낮은 희박성 설정(예: RP[30,0.9]에서 6.36)에서 FMP가 가장 우수한 성능을 보였으며, 초기에 많은 민감도가 존재할 경우 강력한 성능을 발휘하였다.
• 계획자의 성능는 최소한의 튜닝으로도 환경 간에 안정적이었으며, POMCP 및 DESPOT이 다수의 복잡한 하이퍼파rameter를 필요로 하는 것과는 달리, 단지 $h_0$ 와 $\epsilon_d$ 시퀀스만 필요로 하였다.
• 이론적 분석 결과, 민감도 공간의 커버링 수는 POMDP 매개변수에 따라 경계가 정의되며, 이는 정밀한 메모리 및 오차 제어를 가능하게 한다.
• 적응형 이산화 기법은 균일한 방법 대비 민감도 커버의 크기를 크게 줄여, 직접적으로 메모리 및 계산 오버헤드를 감소시켰다.