[논문 리뷰] Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes

Ali̇ Devran Kara, Serdar Yüksel|arXiv (Cornell University)|2020. 10. 14.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 부분 관측 마르코프 결정 과정(POMDP)에 대해 유한 창 역사만을 사용하여 민감도 공간을 이산화함으로써 유한 메모리 피드백 정책 근사법을 제안한다. 이 정책들이 약간의 비선형 필터 안정성 조건 하에서 near optimal임을 입증하며, 지수적 필터 안정성이 성립할 경우 명시적인 지수적 수렴 속도를 확보한다.

ABSTRACT

In the theory of Partially Observed Markov Decision Processes (POMDPs), existence of optimal policies have in general been established via converting the original partially observed stochastic control problem to a fully observed one on the belief space, leading to a belief-MDP. However, computing an optimal policy for this fully observed model, and so for the original POMDP, using classical dynamic or linear programming methods is challenging even if the original system has finite state and action spaces, since the state space of the fully observed belief-MDP model is always uncountable. Furthermore, there exist very few rigorous value function approximation and optimal policy approximation results, as regularity conditions needed often require a tedious study involving the spaces of probability measures leading to properties such as Feller continuity. In this paper, we study a planning problem for POMDPs where the system dynamics and measurement channel model are assumed to be known. We construct an approximate belief model by discretizing the belief space using only finite window information variables. We then find optimal policies for the approximate model and we rigorously establish near optimality of the constructed finite window control policies in POMDPs under mild non-linear filter stability conditions and the assumption that the measurement and action sets are finite (and the state space is real vector valued). We also establish a rate of convergence result which relates the finite window memory size and the approximation error bound, where the rate of convergence is exponential under explicit and testable exponential filter stability conditions. While there exist many experimental results and few rigorous asymptotic convergence results, an explicit rate of convergence result is new in the literature, to our knowledge.

연구 동기 및 목표

• 믿음-MDP 설정에서 민감도 공간이 가산 가능하지 않기 때문에 최적 정책을 계산하는 데 어려움을 해결하기 위해.
• 과거 관측과 행동의 유한 창 뿐만을 사용하여 제어 정책을 구성하는 유한 메모리 근사 방법을 개발하기 위해.
• 비선형 필터에 대한 약간의 정규성 조건 하에서 유한 메모리 정책의 엄밀한 near 최적성 보장을 수립하기 위해.
• 근사 오차의 명시적 수렴 속도를 제공하며, 이는 검증 가능한 필터 안정성 조건 하에서 지수적임을 보여주기 위해.
• POMDP 제어에서 히우리스틱 근사 방법과 엄밀한 이론적 분석 사이의 격차를 메우기 위해.

제안 방법

• 최근의 유한 창 관측과 행동만을 사용하여 민감도 공간을 이산화함으로써 근사 민감도 모델을 구축하기 위해.
• 이 유한 메모리 민감도 표현을 기반으로 근사 POMDP 모델을 설정하여 정책 계산의 가능성을 보장하기 위해.
• 유한 메모리 모델에서 동적 프rogramming과 값 반복을 사용하여 근사 시스템의 최적 정책을 계산하기 위해.
• 유한 민감도 모델의 가치 함수와 원래 POMDP의 가치 함수 간의 차이에 대한 경계를 유한 립시츠 노름을 사용하여 수립하기 위해.
• 특히 총 변동 또는 유한 립시츠 거리에서 비선형 필터의 지수 수렴을 보장하는 필터 안정성 조건을 활용하여 수렴 속도를 도출하기 위해.
• 수축 사상 원리와 기대 가치 함수 차이에 대한 재귀적 경계를 적용하여 최종 수렴 속도를 유도하기 위해.

실험 결과

연구 질문

• RQ1 약간의 필터 안정성 조건 하에서 유한 메모리 피드백 정책이 POMDP에서 near 최적 성능을 달성할 수 있는가?
• RQ2 메모리 창 크기가 증가함에 따라 근사 오차의 수렴 속도는 어떻게 되는가?
• RQ3 민감도 공간 거리 척도의 선택(예: 총 변동 대 유한 립시츠)이 이론적 보장에 어떤 영향을 미치는가?
• RQ4 유한 메모리 정책의 가치 함수가 진정한 최적 가치 함수로 수렴할 수 있는 조건은 무엇인가?
• RQ5 시스템 동역학과 관측 모델에 대해 명시적이고 검증 가능한 조건이 근사 오차의 지수적 수렴을 보장할 수 있는가?

주요 결과

• 비선형 필터 안정성 조건이 약간의 조건을 만족할 경우, 유한 메모리 정책 근사는 증명 가능한 near 최적성을 확보한다.
• 비선형 필터가 유한 립시츠 노름에서 지수 안정성을 만족할 경우, 근사 오차에 대해 명시적인 지수 수렴 속도가 확립된다.
• 수렴 속도는 필터의 수축 계수 $\alpha_{\mathcal{Z}}$ 와 할인 인자 $\beta$ 에 의존하며, 지수적 필터 안정성이 성립할 경우 오차는 $O(\beta^t)$ 로 감소한다.
• 유한 립시츠 노름을 사용하여 가치 함수 차이의 경계를 유도하였으며, 이는 비용 함수와 전이 커널의 정규성과 관련된 상수를 포함한다.
• 분석 결과 근사 오차는 균일하게 유계이며, 메모리 창 크기가 증가함에 따라 0으로 수렴하며, 명시적인 조건 하에서는 지수적으로 빠르게 수렴함을 보여준다.
• 결과는 일반적인 상태 공간(실수 벡터 값)과 유한한 행동 및 관측 집합으로 확장되며, 핵심 가정은 비선형 필터의 안정성이다.