[論文レビュー] Piecewise-Deterministic Optimal Path Planning

Zhengdi Shen, Alexander Vladimirsky|arXiv (Cornell University)|Dec 29, 2015

Risk and Portfolio Optimization参考文献 36被引用数 3

ひとこと要約

本稿では、ランダムな環境的スイッチを伴う区分的決定的システムにおける最適パスプランニングのための数値フレームワークを提示する。弱く結合されたハミルトニアン・ジャコビ・ベルマン（HJB）偏微分方程式系を解くために、半ラグランジュ法およびオイラー法を用いる。主な貢献は、無限スイッチングレートまたはゼロスイッチングレートに基づく漸近的最適制御が、有限レートの環境では著しく性能が低下することを示したことである。特に、無限レート戦略はモンテカルロシミュレーションで衝突を引き起こすことが明らかになった。

ABSTRACT

We consider piecewise-deterministic optimal control problems in which the environment randomly switches among several deterministic modes, and the goal is to optimize the expected cost up to the termination while taking the likelihood of future mode-switches into account. The dynamic programming approach yields a weakly-coupled system of Hamilton-Jacobi-Bellman PDEs satisfied by the value functions of individual modes. We derive and implement semi-Lagrangian and Eulerian numerical schemes for that system. We further recover simpler, "asymptotically optimal" controls and test their performance in non-asymptotic regimes. Our approach is illustrated on a simple anisotropic path-planning problem: the time-optimal control for a boat affected by randomly switching winds.

研究の動機と目的

• ランダムかつ即時のモードスイッチを伴うシステムにおける最適制御問題を解くための効率的な数値手法の開発。
• 無限スイッチングレートまたはゼロスイッチングレートにおける漸近的最適制御と、有限レート環境下での真の最適解との間の性能ギャップの分析。
• 完全な弱く結合されたHJB方程式系を解かずに、簡略化された制御戦略を用いる場合の期待される性能劣化の定量的評価。
• 区分的決定的設定における最適軌道が、決定的ケースとは異なり、もはや区分的直線ではなくなることの証明。
• 一般のスイッチングダイナミクス下でのモード固有の価値関数の差に対する事前バウンドの導出。

提案手法

• 各モードが異なる決定的ダイナミクスに対応する、1階のハミルトニアン・ジャコビ・ベルマン（HJB）偏微分方程式系として最適制御問題を定式化する。
• 支配方程式系を導出：$\|\nabla u_i\|s(\mathbf{x}) - \mathbf{w}_i(\mathbf{x})\cdot\nabla u_i = 1 - \sum_{j=1}^n \lambda_{ij}(u_i - u_j)$。これは、ランダムスイッチング下での期待コストを符号化している。
• カーテシアングリッド上で効率的に結合HJB系を解くために、半ラグランジュ法およびオイラー法の数値スキームを実装する。
• 2つの漸近的最適制御戦略を提案：1つは即時スイッチング（無限レート $c \to \infty$）を仮定し、もう1つはスイッチングなし（ゼロレート $c \to 0$）を仮定する。
• 2次元の障害物1つを伴うパスプランニング問題において、モンテカルロシミュレーションを用いて漸近的制御と真の最適解の性能を比較する。
• 到達時間の期待値とリプシッツ連続性を用いて $\|u_i - u_j\|_\infty$ の上界を導出し、$c \to \infty$ のとき $|u_i - u_j| = O(c^{-1})$ であることを示す。

実験結果

リサーチクエスチョン

• RQ1 無限スイッチングレートまたはゼロスイッチングレートにおける漸近的最適制御が、有限レートスイッチング環境に適用された場合、性能がどの程度劣化するか？
• RQ2 決定的と区分的決定的パスプランニング問題における最適軌道の構造的差異は何か？
• RQ3 スイッチングシステムにおけるモード固有価値関数の差に対して、事前バウンドを導出できるか？
• RQ4 弱く結合されたHJB系のための数値スキームは、不確実性下のパスプランニングにおいて、精度と効率の観点でどのように比較できるか？
• RQ5 ランダムな環境的スイッチは、最適パスの最適性および滑らかさにどのような影響を及ぼすか？

主な発見

• 無限スイッチングレートに基づく漸近的制御戦略（$u^\infty$）は、モンテカルロシミュレーションの顕著な割合で障害物に衝突する結果となり、顕著な性能劣化を示した。
• ゼロスイッチングレートに基づく漸近的制御（$\alpha_*^0$）は $u^\infty$ よりも良好な性能を示したが、依然として真の最適解と比較して顕著な期待時間コストの増加を示した。
• 区分的決定的設定における最適軌道は、速度場が各モードで定数であっても、もはや区分的直線ではなくなる。これはスイッチングダイナミクスの影響によるものである。
• モード固有価値関数 $u_i$ と $u_j$ の差は、$\bar{C} \cdot \max\{\mathbb{E}[\kappa_{ij}], \mathbb{E}[\kappa_{ji}]\}$ で有界であり、$\kappa_{ij}$ はモード $i$ から $j$ へのスイッチに要する到達時間である。
• スイッチングレート $c$ が増加するにつれて、価値関数の差は $O(c^{-1})$ の速度で減少し、$u^\infty$ が真の解に漸近的に収束することを確認した。
• 価値関数の差に対する理論的上界は、やや弱い仮定（有界なコスト、価値関数のリプシッツ連続性、局所的可制御性）の下で導出された。