[論文レビュー] A Solution to Time-Varying Markov Decision Processes

Lantao Liu, Gaurav S. Sukhatme|arXiv (Cornell University)|May 3, 2016

Bayesian Modeling and Causal Inference参考文献 23被引用数 4

ひとこと要約

本論文は、時変状態遷移ダイナミクスを状態空間の拡張や時間離散化を伴わずにモデル化することで、空間的・時間的不確実性を扱える新たなフレームワークである時変マルコフ決定過程（TVMDP）を導入する。時間的要因を考慮した空間的ベルマンバックアップと、コルモゴロフ方程式による時間的進化を組み合わせた二重価値伝播メカニズムを提案し、実際の海流データを用いた海洋ロボティクスのナビゲーションにおいて優れた性能を示した。

ABSTRACT

We consider a decision-making problem where the environment varies both in space and time. Such problems arise naturally when considering e.g., the navigation of an underwater robot amidst ocean currents or the navigation of an aerial vehicle in wind. To model such spatiotemporal variation, we extend the standard Markov Decision Process (MDP) to a new framework called the Time-Varying Markov Decision Process (TVMDP). The TVMDP has a time-varying state transition model and transforms the standard MDP that considers only immediate and static uncertainty descriptions of state transitions, to a framework that is able to adapt to future time-varying transition dynamics over some horizon. We show how to solve a TVMDP via a redesign of the MDP value propagation mechanisms by incorporating the introduced dynamics along the temporal dimension. We validate our framework in a marine robotics navigation setting using spatiotemporal ocean data and show that it outperforms prior efforts.

研究の動機と目的

• 波動や風の場のような、時間に依存する空間的分布不確実性を有する環境における意思決定を扱う。
• 標準的なMDPフレームワークを拡張し、時間に応じて変化する確率的遷移をモデル化するが、静的遷移確率を仮定しない。
• 時間離散化や状態空間の拡張を回避しつつ、計算の実行可能性を維持するソリューションを開発する。
• 空間的・時間的海流データを用いた実世界の海洋ロボティクスナビゲーションシナリオにおいて、フレームワークを検証する。

提案手法

• 時間に依存する遷移モデルを明示的に含む、標準MDPの拡張として時変MDP（TVMDP）を提案する。
• 二重価値伝播メカニズムを導入：空間的伝播は標準ベルマンバックアップで、時間的伝播はコルモゴロフ方程式で行う。
• 行動ベクトルと摂動ベクトルから導かれる多次元正規分布の混合を用いて、時間に依存する遷移ダイナミクスをモデル化する。
• 座標変換と周辺化を用いて、意図された次状態方向への運動の条件付き期待値を計算する。
• 条件付き期待値から導かれる運動方向の期待速度を用いて、1ステップ遷移時間の推定を行う。
• 計画ホライズンにわたり、進化する遷移ダイナミクスをモデル化する非離散化・連続時間定式化を採用する。

実験結果

リサーチクエスチョン

• RQ1 時間離散化や状態空間の拡張を伴わずに、時間に依存する確率的状態遷移を扱える意思決定フレームワークを設計できるか？
• RQ2 遷移ダイナミクスの時間的進化をどのようにモデル化し、最適計画の価値関数計算に統合できるか？
• RQ3 時間に依存する遷移モデルを組み込むことで、海流のような動的環境におけるナビゲーション性能が向上するか？
• RQ4 計画の正確性と計算効率の観点から、TVMDPはTDMDP や標準MDPといった既存手法と比べてどのように差をつけるか？

主な発見

• TVMDPフレームワークは、時間離散化や状態空間の拡張を要せず、連続時間における時間に依存する遷移ダイナミクスを効果的にモデル化できた。
• 空間的ベルマンバックアップとコルモゴロフ方程式による時間的進化を組み合わせた二重価値伝播メカニズムにより、両次元にわたる正確な価値関数更新が可能となった。
• 実際の海流データを用いた海洋ロボティクスナビゲーションにおいて、TVMDPは、近似されたTDMDP や標準MDPを上回る性能を示した。
• 予測された時間に依存する環境ダイナミクスを活用することで、将来の遷移不確実性を予測し、計画の正確性が向上した。
• 座標変換と条件付き期待値の使用により、移動方向の期待速度に基づいた1ステップ遷移時間の効率的推定が可能となった。