[논문 리뷰] Solving POMDPs by Searching the Space of Finite Policies

Nicolas Meuleau, Kee-Eung Kim외 2명|arXiv (Cornell University)|2013. 01. 23.

Reinforcement Learning in Robotics참고 문헌 26인용 수 147

한 줄 요약

이 논문은 고정된 크기의 유한 상태 정책을 표현하는 자동차로 구성된 정책 공간 내에서 탐색함으로써 부분 관측 마르코프 결정 과정(POMDP)을 해결하는 새로운 접근법을 제안한다. 전역 최적의 결정적 정책을 위한 분기 및 경계 방법과 局부 최적의 확률적 정책을 위한 기울기 상승 방법을 도입하여 계산 복잡도를 크게 감소시키고 기준 문제에서 강력한 경험적 성능을 보여준다.

ABSTRACT

Solving partially observable Markov decision processes (POMDPs) is highly intractable in general, at least in part because the optimal policy may be infinitely large. In this paper, we explore the problem of finding the optimal policy from a restricted set of policies, represented as finite state automata of a given size. This problem is also intractable, but we show that the complexity can be greatly reduced when the POMDP and/or policy are further constrained. We demonstrate good empirical results with a branch-and-bound method for finding globally optimal deterministic policies, and a gradient-ascent method for finding locally optimal stochastic policies.

연구 동기 및 목표

• 주어진 크기의 유한 상태 정책으로의 검색을 제한하여 POMDP 해결의 비가역성을 해결하기 위해.
• POMDP와 정책 표현 양쪽에 구조적 제약 조건을 도입하여 POMDP 내 최적 정책을 찾는 데 드는 계산 복잡도를 감소시키기 위해.
• 제약된 정책 공간 내에서 전역 최적의 결정적 정책과 국소 최적의 확률적 정책을 찾을 수 있는 효율적인 알고리즘을 개발하기 위해.
• 표준 POMDP 기준 문제에서 제안된 방법의 효과성을 경험적으로 평가하기 위해.

제안 방법

• 정책의 복잡도를 제한하기 위해 고정된 수의 상태를 가진 유한 상태 자동차로 정책을 표현하기 위해.
• 유한 정책 공간 내에서 전역 최적의 결정적 정책을 체계적으로 탐색하기 위해 분기 및 경계 알고리즘을 적용하기 위해.
• 성능 기울기 기반으로 정책 파라미터를 반복적으로 개선함으로써 확률적 정책을 최적화하기 위해 기울기 상승을 사용하기 위해.
• POMDP와 정책의 구조적 제약 조건을 활용하여 검색 공간을 줄이고 계산 효율성을 향상시키기 위해.
• 분기 및 경계 알고리즘에서의 정책 분할 및 탐색 과정을 지도하기 위해 가치 함수 추정과 정책 평가를 통합하기 위해.
• 비효율적인 정책 분지를 조기에 제거하기 위해 분기 및 경계에서 가지치기 기법을 사용하여 확장성 향상시키기 위해.

실험 결과

연구 질문

• RQ1 고정된 크기의 유한 상태 자동차로 정책 탐색을 제한하면 POMDP에 대해 처리 가능하고 효과적인 해법을 도출할 수 있는가?
• RQ2 POMDP와 정책 양쪽에 제약 조건이 적용될 경우 정책 탐색의 복잡도는 어떻게 변화하는가?
• RQ3 분기 및 경계 방법은 제한된 정책 공간 내에서 전역 최적의 결정적 정책을 찾을 수 있는가?
• RQ4 기울기 상승 방법은 이 제약 조건 하에서 높은 성능을 보이는 국소 최적의 확률적 정책을 식별할 수 있는가?
• RQ5 기존의 POMDP 솔버와 비교할 때 제안된 방법은 해의 품질과 계산 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 분기 및 경계 방법은 유한 정책 공간 내에서 전역 최적의 결정적 정책을 성공적으로 찾았으며, 정확성과 완전성을 입증하였다.
• 기울기 상승 방법은 기준 문제에서 기존 방법보다 뛰어난 성능을 보이는 국소 최적의 확률적 정책으로 수렴하였다.
• POMDP와 정책 표현에 대한 구조적 제약 조건은 검색 공간을 상당히 줄이고 계산 처리 가능성 향상에 기여하였다.
• 경험 결과로 제안된 방법은 복잡한 관측 구조를 가진 표준 POMDP 문제에서도 고품질의 해를 달성하였다.
• 기존의 POMDP 솔버가 지수적 복잡도로 인해 실패하는 상황에서도 확장 가능한 정책 탐색을 가능하게 하였다.
• 유한 정책 표현 방식은 실제 부분 관측 환경에서 정책의 실용적 구현을 가능하게 하였다.