[논문 리뷰] Region-Based Approximations for Planning in Stochastic Domains

Nevin L. Zhang, Wenju Liu|arXiv (Cornell University)|2013. 02. 06.

Reinforcement Learning in Robotics참고 문헌 14인용 수 7

한 줄 요약

이 논문은 상태 공간을 관측이 단순화된 영역들로 분할함으로써 확률적 도메인에서 효율적인 계획 수립을 가능하게 하는 부분적 관측 마르코프 결정 과정(POMDP)의 하위 클래스인 영역 관측 가능 POMDP를 소개한다. 이 방법은 영역 기반 추상화를 통해 일반 POMDP의 임의의 정밀도 근사치를 제공함으로써 계산 복잡도를 크게 감소시키면서도 해의 품질을 유지한다.

ABSTRACT

This paper is concerned with planning in stochastic domains by means of partially observable Markov decision processes (POMDPs). POMDPs are difficult to solve. This paper identifies a subclass of POMDPs called region observable POMDPs, which are easier to solve and can be used to approximate general POMDPs to arbitrary accuracy.

연구 동기 및 목표

• 확률적 도메인에서 일반 POMDP를 해결하는 데 있어 계산적으로 비가능한 문제를 해결하기 위해.
• 확장 가능한 계획 수립을 가능하게 하는 POMDP의 다루기 쉬운 하위 클래스를 규명하기 위해.
• 정확도가 보장되는 경계를 갖는 프레임워크를 개발하여 일반 POMDP를 근사하기 위해.
• 영역 기반 상태 추상화를 통해 믿음 공간 계획의 복잡도를 감소시키기 위해.
• 구조화된 근사치를 사용하여 부분 관측 환경에서 실용적인 계획 수립을 가능하게 하기 위해.

제안 방법

• 상태 공간을 관측 모델이 단순화된 영역들로 분할하는 영역 관측 가능 POMDP를 제안한다.
• 관측 가능성이 영역에만 의존하고 그 안의 정확한 상태에는 의존하지 않도록 영역 관측 가능성을 정의한다.
• 믿음 공간의 압축과 계획 복잡도 감소를 위해 영역 기반 믿음 표현 방식을 사용한다.
• 근사 정책을 계산하기 위해 추상화된 영역 기반 믿음 공간에서 값 반복을 적용한다.
• 반복적으로 영역 경계를 정밀화하여 근사 정확도를 향상시키고 임의의 정밀도에 도달한다.
• 영역 관측 가능성의 구조를 활용하여 믿음 공간에서 효율적인 동적 프로그래밍을 가능하게 한다.

실험 결과

연구 질문

• RQ1 효율적이고 정확한 계획 수립을 가능하게 하는 구조화된 POMDP 하위 클래스를 정의할 수 있는가?
• RQ2 상태 공간을 어떻게 영역으로 분할하여 관측 가능성을 단순화하고 복잡도를 감소시킬 수 있는가?
• RQ3 일반 POMDP는 영역 관측 가능 모델을 사용하여 오차가 제한된 범위 내에서 얼마나 잘 근사할 수 있는가?
• RQ4 표준 POMDP 솔버에 비해 영역 기반 추상화를 사용할 때 어떤 계산적 이점이 있는가?
• RQ5 영역 기반 근사치는 어떻게 정밀하게 개선하여 계획에서 임의의 정밀도를 달성할 수 있는가?

주요 결과

• 영역 관측 가능 POMDP는 상태 공간 분할을 통해 효율적인 계획 수립을 가능하게 하는 다루기 쉬운 POMDP 하위 클래스를 이룬다.
• 영역 경계를 정밀화함으로써 일반 POMDP를 임의의 정밀도로 근사할 수 있다.
• 영역 기반 믿음 표현 방식은 믿음 공간의 차원을 크게 감소시켜 확장성 향상에 기여한다.
• 계산 비용을 감소시키면서도 정확한 POMDP 솔버와 비교해 유사한 해의 품질을 유지한다.
• 추상화된 믿음 공간에서의 값 반복은 최적 정책과 오차가 제한된 정책으로 수렴한다.
• 실험 결과는 영역 기반 근사치가 훨씬 감소된 계산 시간으로 거의 최적 성능에 도달함을 보여준다.