[논문 리뷰] Planning in POMDPs Using Multiplicity Automata

Eyal Even-Dar, Sham M. Kakade외 1명|arXiv (Cornell University)|2012. 07. 04.

Machine Learning and Algorithms참고 문헌 16인용 수 10

한 줄 요약

이 논문은 예측 상태 표현(PSR)의 구조를 반영하는 다중성 오토마타를 사용하여 부분 관측 마르코프 결정 과정(POMDPs)에 대한 새로운 계획 수립 방법을 제안한다. 다중성 오토마타의 크기가 예측 상태 표현(PSR)의 질량 등수와 정확히 일치함을 보여, 계획 복잡도가 전체 POMDP 상태 공간이 아닌 PSR의 질량 등수에만 의존하도록 한다. 이는 PSR가 저질량일 경우 효율적인 계획 수립을 가능하게 하며, 구조화된 POMDP에서 지수적 속도 향상을 제공한다.

ABSTRACT

Planning and learning in Partially Observable MDPs (POMDPs) are among the most challenging tasks in both the AI and Operation Research communities. Although solutions to these problems are intractable in general, there might be special cases, such as structured POMDPs, which can be solved efficiently. A natural and possibly efficient way to represent a POMDP is through the predictive state representation (PSR) - a representation which recently has been receiving increasing attention. In this work, we relate POMDPs to multiplicity automata- showing that POMDPs can be represented by multiplicity automata with no increase in the representation size. Furthermore, we show that the size of the multiplicity automaton is equal to the rank of the predictive state representation. Therefore, we relate both the predictive state representation and POMDPs to the well-founded multiplicity automata literature. Based on the multiplicity automata representation, we provide a planning algorithm which is exponential only in the multiplicity automata rank rather than the number of states of the POMDP. As a result, whenever the predictive state representation is logarithmic in the standard POMDP representation, our planning algorithm is efficient.

연구 동기 및 목표

• 큰 또는 복잡한 상태 공간에서 POMDP의 계획 수립이 계산적으로 불가능한 문제를 해결하기 위해.
• 기존 상태 기반 표현 방식의 지수적 증가를 피할 수 있는 POMDP의 효율적 표현 방식을 탐색하기 위해.
• POMDP, 예측 상태 표현(PSR), 다중성 오토마타 간의 형식적 연결 고리를 확립하기 위해.
• 계획 알고리즘의 복잡도가 POMDP 상태 수가 아닌 PSR의 질량 등수에만 의존하도록 하는 알고리즘을 개발하기 위해.
• PSR의 크기가 표준 POMDP 표현보다 로그 크기로 작을 경우, 계획 수립이 상당히 더 효율적임을 보여주기 위해.

제안 방법

• 시스템의 역학을 관측 가능한 예측을 통해 기술하는 예측 상태 표현(PSR)을 사용해 POMDP를 표현하기 위해.
• 대표 크기의 증가 없이도 어떤 POMDP도 다중성 오토마타로 동일하게 표현할 수 있음을 보여주기 위해.
• 다중성 오토마타의 크기가 PSR의 질량 등수와 정확히 일치함을 증명하여, 두 요소 간의 직접적인 대응 관계를 확립하기 위해.
• 다중성 오토마타 상태에서 작동하는 계획 알고리즘을 설계하여, 시간 복잡도가 오토마타의 질량 등수의 지수함수적으로만 증가하도록 하기 위해.
• 다중성 오토마타의 대수적 구조를 활용해, 오토마타 상태에서의 동적 프로그래밍을 통해 가치 함수와 최적 정책을 효율적으로 계산하기 위해.
• 다중성 오토마타가 효율적인 선형 대수 연산을 지원함을 활용하여, 원래 POMDP가 크더라도 계산이 유계로 유지됨을 이용하기 위해.

실험 결과

연구 질문

• RQ1 표준 표현 크기의 증가 없이 다중성 오토마타를 사용해 POMDP를 효율적으로 표현할 수 있는가?
• RQ2 예측 상태 표현의 질량 등수와 해당 다중성 오토마타의 크기 사이에 직접적인 구조적 대응 관계가 존재하는가?
• RQ3 PSR 질량 등수가 작을 경우, 다중성 오토마타를 통해 표현된 POMDP에서 계획 수립이 더 효율적이게 되는가?
• RQ4 계획 복잡도를 POMDP 상태 수가 아닌 PSR 질량 등수에만 의존하도록 줄일 수 있는가?
• RQ5 이러한 오토마타 기반 접근 방식이 계산 효율성 측면에서 기존 POMDP 계획 알고리즘보다 뛰어나지 않는 조건은 무엇인가?

주요 결과

• POMDP를 표현하는 다중성 오토마타의 크기는 정확히 그 예측 상태 표현(PSR)의 질량 등수와 일치한다.
• 원래 POMDP와 비교해 대표 크기의 증가 없이도 POMDP를 다중성 오토마타로 표현할 수 있어, 압축성 유지가 가능하다.
• 계획 복잡도는 POMDP 상태 수가 아닌 PSR 질량 등수의 지수함수적으로만 증가하므로, 저질량 등수의 경우 상당한 효율성 향상이 가능하다.
• PSR의 크기가 표준 POMDP 표현 크기의 로그 크기로 작을 경우, 제안된 계획 알고리즘이 효율적이며 지수적 속도 향상을 제공한다.
• PSR 질량 등수가 작은 경우, 상태 수가 많더라도 이 방법은 구조화된 POMDP에서 효율적인 계획 수립을 가능하게 한다.
• PSR와 다중성 오토마타 간의 연결 고리는 POMDP 계획에 대해 새로운 이론적 및 알고리즘적 기반을 제공하며, 잘 알려진 오토마타 이론과 연결된다.