[논문 리뷰] Finding Approximate POMDP solutions Through Belief Compression

Nicholas Roy, Tom M. Mitchell외 1명|2011. 06. 30.

Distributed Sensor Networks and Detection Algorithms인용 수 23

한 줄 요약

이 논문은 고차원의 희박한 민감도 공간을 압축하기 위해 지수족 주성분 분석(E-PCA)을 사용하여 대규모 부분 관측 마르코프 결정 과정(POMDP)을 해결하는 방법을 제안한다. 이는 저차원 민감도 특징 공간에서 효율적인 계획 수단을 가능하게 하며, 실제 문제에서 자주 나타나는 구조적이고 저차원의 민감도 부분공간에 초점을 맞추어 기존 방법보다 수개 차수 큰 POMDP를 해결함으로써 상당한 확장성을 달성한다.

ABSTRACT

Standard value function approaches to finding policies for Partially Observable Markov Decision Processes (POMDPs) are generally considered to be intractable for large models. The intractability of these algorithms is to a large extent a consequence of computing an exact, optimal policy over the entire belief space. However, in real-world POMDP problems, computing the optimal policy for the full belief space is often unnecessary for good control even for problems with complicated policy classes. The beliefs experienced by the controller often lie near a structured, low-dimensional subspace embedded in the high-dimensional belief space. Finding a good approximation to the optimal value function for only this subspace can be much easier than computing the full value function. We introduce a new method for solving large-scale POMDPs by reducing the dimensionality of the belief space. We use Exponential family Principal Components Analysis (Collins, Dasgupta and Schapire, 2002) to represent sparse, high-dimensional belief spaces using small sets of learned features of the belief state. We then plan only in terms of the low-dimensional belief features. By planning in this low-dimensional space, we can find policies for POMDP models that are orders of magnitude larger than models that can be handled by conventional techniques. We demonstrate the use of this algorithm on a synthetic problem and on mobile robot navigation tasks.

연구 동기 및 목표

• 완전한 민감도 공간의 고차원성으로 인해 표준가치함수 방법으로 대규모 POMDP를 해결하는 것이 비현실적이므로 이를 해결하기 위해.
• 실제 문제에서 민감도가 흔히 저차원이고 구조적인 부분공간에 존재하므로, 전체 민감도 공간 계산이 불필요하다는 사실을 활용하기 위해.
• 샘플된 데이터로부터 압축된 저차원 민감도 표현을 학습함으로써 근사된 POMDP 해를 계산할 수 있는 확장 가능한 방법을 개발하기 위해.
• 원래 민감도 공간이 고차원이고 희박한 경우에도, 지속적인 민감도 공간에서의 계획이 복잡한 작업(예: 이동형 로봇 주행)에 효과적인 정책을 도출할 수 있음을 보여주기 위해.

제안 방법

• 샘플된 데이터로부터 고차원이고 희박한 민감도 상태의 저차원 특징 표현을 학습하기 위해 지수족 주성분 분석(E-PCA)을 사용한다.
• 학습된 특징을 사용하여 전체 민감도를 저차원 공간으로 투영함으로써, 후속 계획의 복잡성을 감소시킨다.
• 가치 반복과 정책 학습을 모두 저차원 민감도 특징 공간에서 수행함으로써 계산 비용을 크게 줄인다.
• 차원 감소 과정에서 민감도의 핵심적인 구조를 유지하기 위해 복원 오차 기반 손실 함수를 사용한다. 이는 정책 품질을 보장한다.
• 합성 문제와 실세계의 이동형 로봇 주행 작업(예: Longwood 시설과 같은 큰 불확실성 환경)에 이 방법을 적용한다.
• POMDP 모델로부터 샘플된 민감도를 사용하여 E-PCA 표현을 학습함으로써 전체 민감도 공간을 명시적으로 계산할 필요 없이도 된다.

실험 결과

연구 질문

• RQ1 E-PCA를 통한 민감도 공간 차원 감소가 대규모 POMDP에서 효율적이고 효과적인 계획을 가능하게 하는가?
• RQ2 실제 문제에서 흔히 나타나는 민감도의 저차원 부분공간에 집중함으로써 전체 민감도 공간 계산 없이도 높은 품질의 정책을 도출할 수 있는가?
• RQ3 기존 PCA와 비교해 복잡하고 희박한 고차원 POMDP에서 E-PCA는 민감도 분포의 구조를 얼마나 잘 유지하는가?
• RQ4 이 방법은 기존 기법으로는 해결할 수 없는 수개 차수 큰 POMDP로까지 확장 가능한가?
• RQ5 압축된 정책의 성능가 민감도 표현의 품질에 얼마나 의존하는가?

주요 결과

• 표준 가치 반복 기법으로는 해결할 수 없는 수개 차수 큰 POMDP를 성공적으로 해결함으로써 상당한 확장성의 가능성을 입증했다.
• E-PCA를 통한 민감도 압축은 실세계 문제에서 민감도 분포의 핵심적인 구조를 잘 포착한다. 특히 희박하고 고차원적인 민감도 공간에서 두드러진다.
• 53.6m × 37.9m 크기의 Longwood 시설과 같은 큰 불확실성 환경에서 이동형 로봇 주행에 효과적인 제어 정책을 도출하였으며, 상태 불확실성을 忽시하는 기존 제어기보다 뛰어난 성능을 보였다.
• E-PCA로 학습된 저차원 민감도 특징은 원래 민감도 공간이 계산에 비현실적으로 큰 경우에도 정확한 가치함수 근사와 정책 학습을 가능하게 한다.
• 완전한 민감도 공간 계산을 하지 않고도, 압축된 민감도 공간에서의 계획이 전체 민감도 공간 계산으로부터 유도된 정책과 거의 유사한 성능을 내며, 계산 비용은 크게 감소한다.
• 민감도가 저차원이고 굴절된 다양체에 존재할 경우에 가장 효과적이며, 다수의 분리된 저차원 표면을 포함하는 경우 성능이 떨어지므로 이는 주요 제한점임을 시사한다.