[論文レビュー] POMDPs in Continuous Time and Discrete Spaces

Bastian Alt, M. Schultheis+1 more|arXiv (Cornell University)|Oct 2, 2020

Reinforcement Learning in Robotics参考文献 53被引用数 4

ひとこと要約

本稿は、連続時間で変化する離散的状態および行動空間を持つシステムのための連続時間部分観測マルコフ決定過程（POMDP）フレームワークを導入し、最適制御のためのハミルトニアン＝ジャコビ＝ベルマン（HJB）方程式を導出する。その後、得られた偏積分微分方程式の近似解を求めるために、2つのディープラーニングベースの手法——オフラインコロケーションとオンラインアドバンテージ更新——を提案し、玩具問題において信念空間上での有効な意思決定を実証した。得られた方策は定性的に妥当である。

ABSTRACT

Many processes, such as discrete event systems in engineering or population dynamics in biology, evolve in discrete space and continuous time. We consider the problem of optimal decision making in such discrete state and action space systems under partial observability. This places our work at the intersection of optimal filtering and optimal control. At the current state of research, a mathematical description for simultaneous decision making and filtering in continuous time with finite state and action spaces is still missing. In this paper, we give a mathematical description of a continuous-time partial observable Markov decision process (POMDP). By leveraging optimal filtering theory we derive a Hamilton-Jacobi-Bellman (HJB) type equation that characterizes the optimal solution. Using techniques from deep learning we approximately solve the resulting partial integro-differential equation. We present (i) an approach solving the decision problem offline by learning an approximation of the value function and (ii) an online algorithm which provides a solution in belief space using deep reinforcement learning. We show the applicability on a set of toy examples which pave the way for future methods providing solutions for high dimensional problems.

研究の動機と目的

• 連続時間で離散的状態を持つシステムにおける部分観測下での最適意思決定のための原理的で数学的な枠組みの欠如に応えること。
• 同時最適フィルタリングと制御を可能にする、POMDPモデルの連続時間版を導出すること。
• 高次元のHJB型方程式を解くためのスケーラブルな近似手法を、ディープラーニングを用いて開発すること。
• 玩具問題を用いた評価を通じて、実行可能性と合理的な方策学習の有効性を示すこと。
• 今後の高次元システム、例えばキューイングネットワークや確率的ハイブリッドシステムへの応用の基盤を築くこと。

提案手法

• 最適フィルタリング理論を用いて、離散的状態および行動を有する連続時間POMDPモデルを形式化し、POMDPフレームワークを連続時間へ拡張する。
• 連続時間における最適価値関数を特徴付けるハミルトニアン＝ジャコビ＝ベルマン（HJB）型方程式を導出する。
• HJB方程式の数値的解法に基づくコロケーションに基づくオフライン手法を適用し、価値関数の近似を実現する。
• ディープ強化学習を用いて信念空間におけるアドバンテージ関数を学習する、オンラインアドバンテージ更新アルゴリズムを開発する。
• 深層ニューラルネットワークを用いて価値関数およびアドバンテージ関数を表現し、高次元の信念空間における関数近似を可能にする。
• 既知の動的特性に基づく信念状態の伝搬を用いて、システムの進化をシミュレートし、完全な状態観測が不要な状態で方策を学習する。

実験結果

リサーチクエスチョン

• RQ1 部分観測下における離散的状態・連続時間システムに対して、原理的で整合性のある連続時間POMDPフレームワークをどのように形式化できるか？
• RQ2 この連続時間設定において、最適価値関数を特徴付ける対応するHJB型方程式は何か？
• RQ3 得られた偏積分微分方程式の解を近似するために、ディープラーニング技術を効果的に用いることができるか？
• RQ4 提案されたオフラインおよびオンライン手法は、連続時間意思決定問題における合理的で信念に基づく方策を学習する上で、どのように比較されるか？
• RQ5 部分観測下のベンチマーク問題において、学習された方策の定性的および定量的特性は何か？

主な発見

• 提案された連続時間POMDPフレームワークは、離散的状態および連続時間ダイナミクスを持つシステムにおける最適意思決定を可能にするよう、POMDPモデルを連続時間へ成功して拡張した。
• 導出されたHJB方程式は、部分観測下における連続時間の最適制御の理論的基盤を提供し、離散時間POMDPを一般化する。
• オフラインコロケーション手法は、ゴールに近い状態に対して高い価値を割り当てる価値関数を生成し、不確実性下での合理的な意思決定を反映している。
• オンラインアドバンテージ更新手法は、不確実性下で楽観的な行動を示す方策を学習しており、例えばスロット型Aloha問題において、パケット数が曖昧な状況で低帯域幅の送信行動を選択する傾向を示している。
• 両手法とも玩具問題において定性的に妥当な方策を生成しており、異なる解法技術や信念状態において一貫性のある結果を示している。
• ディープラーニングを用いた連続時間POMDPの解法が実現可能であることを示しており、次元削減やフィルタリング近似を用いることで、高次元および連続状態空間への応用への拡張が期待できる。