[논문 리뷰] POMDPs in Continuous Time and Discrete Spaces

Bastian Alt, M. Schultheis외 1명|arXiv (Cornell University)|2020. 10. 02.

Reinforcement Learning in Robotics참고 문헌 53인용 수 4

한 줄 요약

이 논문은 이산 상태 및 동작 공간을 갖는 연속 시간 시스템에 대해 연속 시간 부분 관측 가능 마르코프 결정 과정(POMDP) 프레임워크를 제안하며, 최적 제어를 위한 하미튼-자비-벨리만(HJB) 방정식을 유도한다. 이를 바탕으로 해석적 편미분방정식의 해를 근사하기 위해 오프라인 콘테이션과 온라인 이점 업데이트라는 두 가지 딥러닝 기반 방법을 제안하며, 간단한 문제에서 믿음 공간 내에서 효과적인 의사결정을 수행함으로써 정성적으로 타당한 정책을 도출한다.

ABSTRACT

Many processes, such as discrete event systems in engineering or population dynamics in biology, evolve in discrete space and continuous time. We consider the problem of optimal decision making in such discrete state and action space systems under partial observability. This places our work at the intersection of optimal filtering and optimal control. At the current state of research, a mathematical description for simultaneous decision making and filtering in continuous time with finite state and action spaces is still missing. In this paper, we give a mathematical description of a continuous-time partial observable Markov decision process (POMDP). By leveraging optimal filtering theory we derive a Hamilton-Jacobi-Bellman (HJB) type equation that characterizes the optimal solution. Using techniques from deep learning we approximately solve the resulting partial integro-differential equation. We present (i) an approach solving the decision problem offline by learning an approximation of the value function and (ii) an online algorithm which provides a solution in belief space using deep reinforcement learning. We show the applicability on a set of toy examples which pave the way for future methods providing solutions for high dimensional problems.

연구 동기 및 목표

• 연속 시간, 이산 상태 시스템에서 부분 관측 하에 최적 의사결정을 위한 원칙적인 수학적 프레임워크가 부족한 문제를 해결하기 위해.
• 동시 최적 필터링과 제어를 지원하는 연속 시간 POMDP 모델의 연속 시간 해석을 도출하기 위해.
• 결과로 발생하는 고차원 HJB 유형 방정식을 해결하기 위한 스케일러블한 근사 방법을 딥러닝을 활용해 개발하기 위해.
• 유형 문제에 대한 평가를 통해 타당성과 합리적인 정책 학습 가능성을 입증하기 위해.
• 향후 큐잉 네트워크 및 스토케스틱 하이브리드 시스템과 같은 고차원 시스템에의 응용을 위한 기반을 마련하기 위해.

제안 방법

• 최적 필터링 이론을 활용해 연속 시간 이산 상태 및 동작 공간을 갖는 연속 시간 POMDP 모델을 수립하며, POMDP 프레임워크를 연속 시간으로 확장한다.
• 연속 시간에서 최적 가치 함수를 특징짓는 하미튼-자비-벨리만(HJB) 유형 방정식을 유도한다.
• HJB 방정식을 수치적으로 해결함으로써 값 함수를 근사하기 위해 콘테이션 기반 오프라인 방법을 적용한다.
• 신뢰도 공간 내에서 이점 함수를 학습하기 위해 딥 강화학습을 활용한 온라인 이점 업데이트 알고리즘을 개발한다.
• 깊은 신경망을 사용해 값 함수와 이점 함수를 표현함으로써 고차원 믿음 공간 내에서 함수 근사를 가능하게 한다.
• 알려진 동역학 하에서 믿음 상태 전파를 활용해 시스템의 진화를 시뮬레이션하고, 전체 상태 관측이 필요 없이 정책을 훈련시킨다.

실험 결과

연구 질문

• RQ1 부분 관측 하에 이산 상태, 연속 시간 시스템에 대해 원칙적인 연속 시간 POMDP 프레임워크를 어떻게 수립할 수 있는가?
• RQ2 이 연속 시간 설정에서 최적 가치 함수를 특징짓는 HJB 유형 방정식은 무엇인가?
• RQ3 딥러닝 기법이 결과로 발생하는 편미분방정식의 해를 효과적으로 근사하는 데 사용될 수 있는가?
• RQ4 제안된 오프라인 및 온라인 방법은 연속 시간 의사결정 문제에 대해 믿음 기반의 합리적인 정책을 학습하는 데 어떻게 비교되는가?
• RQ5 부분 관측 하에서의 기준 문제에서 학습된 정책의 정성적 및 정량적 특성은 무엇인가?

주요 결과

• 제안된 연속 시간 POMDP 프레임워크는 POMDP 모델을 연속 시간으로 성공적으로 확장하여 이산 상태와 연속 시간 역학을 갖는 시스템에서 최적 의사결정을 가능하게 한다.
• 유도된 HJB 방정식은 부분 관측 하에서 연속 시간 최적 제어를 위한 이론적 기반을 제공하며, 이는 이산 시간 POMDP를 일반화한다.
• 오프라인 콘테이션 방법은 목표에 가까운 상태에 더 높은 값을 할당하는 값 함수를 생성하여 불확실성 하에서의 합리적인 의사결정을 반영한다.
• 온라인 이점 업데이트 방법은 불확실성 하에서 낙관적인 행동을 보이는 정책을 학습한다. 예를 들어 슬롯형 알로하 문제에서 패킷 수가 모호할 경우 낮은 전송 동작을 선택하는 경향을 보인다.
• 두 방법 모두 유형 문제에서 정성적으로 타당한 정책을 생성하며, 다양한 해법 기법과 믿음 상태에서 일관된 결과를 도출한다.
• 딥러닝을 활용한 연속 시간 POMDP 해법의 타당성을 입증하였으며, 차원 축소 및 필터링 근사 기법을 통해 고차원 및 연속 상태 시스템으로의 확장 가능성이 있다.