[論文レビュー] A numerical approach to stochastic reach-avoid problems for Markov Decision Processes.

Nikolaos Kariotoglou, Maryam Kamgarpour+2 more|arXiv (Cornell University)|Nov 21, 2014

Advanced Control Systems Optimization参考文献 50被引用数 3

ひとこと要約

本稿では、再帰的方程式を不等式に緩和し、値関数をガウス径間基底関数に射影し、制約をサンプリングすることで、マルコフ決定過程における高次元確率的到達・回避問題を解く数値的手法を提案する。この手法により、ハイパーレクタンギュラーな安全領域およびターゲット領域に対して1ステップ先の報酬を解析的に計算可能となり、グリッドベースの手法を著しく上回り、非線形な自動走行車の経路計画問題に対しても有効性を示している。

ABSTRACT

We consider finite horizon reach-avoid problems for discrete time stochastic systems with additive Gaussian mixture noise. Our goal is to approximate the optimal value function of such problems on dimensions higher than what can be handled via state-space gridding techniques. We achieve this by relaxing the recursive equations of the finite horizon reach-avoid optimal control problem into inequalities, projecting the optimal value function to a finite dimensional basis and sampling the associated infinite set of constraints. We focus on a specific value function parametrization using Gaussian radial basis functions that enables the analytical computation of the one-step reach-avoid reward in the case of hyper-rectangular safe and target sets, achieving significant computational benefits compared to state-space gridding. We analyze the performance of the overall method numerically by approximating simple reach-avoid control problems and comparing the results to benchmark controllers based on well-studied methods. The full power of the method is demonstrated on a nonlinear control problem inspired from constrained path planning for autonomous race cars.

研究の動機と目的

• 状態空間グリッド化が計算的に非現実的となる高次元確率的システムにおける有限時間到達・回避問題を解く挑戦に応えること。
• 加法的ガウス・ミックスチャネルノイズを有するシステムにおける最適値関数のスケーラブルな近似手法を開発すること。
• ガウス径間基底関数を用いた特定のパラメータ化により、1ステップ先の到達・回避報酬を解析的に計算可能とすること。
• シンプルなベンチマーク問題および複雑な非線形自動車制御問題の両方において、手法の性能を実証すること。
• 従来のグリッドベース手法に代わる、計算効率の高い確率的最適制御の代替手法を提供すること。

提案手法

• 有限時間到達・回避最適制御問題の再帰的方程式を不等式に緩和し、数値的近似を可能にする。
• 計算の tractable な形にするために、最適値関数をガウス径間基底関数（RBF）の有限次元基底に射影する。
• 緩和された不等式から生じる無限個の制約をサンプリングし、有限の最適化問題を構築する。
• ハイパーレクタンギュラーな安全領域およびターゲット領域の構造を活用し、1ステップ先の到達・回避報酬を解析的に計算することで、数値積分への依存度を低減する。
• 標準的な数値ソルバーで解ける制約付き最適化問題として問題を定式化する。
• 低次元問題において手法を検証し、自動走行車の高次元非線形経路計画問題にスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 関数近似を用いた緩和アプローチが、高次元確率的到達・回避問題において、従来の状態空間グリッド化を上回るか。
• RQ2 ガウス径間基底関数は、ハイパーレクタンギュラー集合を有する到達・回避設定において、1ステップ先の報酬をどの程度解析的に計算可能にするか。
• RQ3 性能および計算効率の観点から、提案手法はベンチマーク制御器と比べてどの程度優れているか。
• RQ4 本手法は、自動車経路計画のような非線形で高次元のシステムに効果的にスケーリング可能か。
• RQ5 制約サンプリングおよび基底関数の選択が、値関数近似の精度および収束性に与える影響はいかほどか。

主な発見

• ガウスRBFによるパラメータ化により、1ステップ先の報酬を解析的に計算可能とすることで、状態空間グリッド化に比べて顕著な計算的利点を達成した。
• 数値結果から、提案手法がシンプルな到達・回避問題において最適値関数を高い精度で近似でき、ベンチマーク制御器を上回ることが示された。
• 本手法は、自動走行車の挑戦的な非線形経路計画問題を効果的に解き、スケーラビリティと実用的関連性を示した。
• ガウス径間基底関数の使用により、高次元空間における値関数の効率的かつ正確な射影が可能となった。
• 制約サンプリングにより、無限次元問題が解ける有限最適化問題に効果的に還元され、解の品質を損なわずに実現された。
• ハイパーレクタンギュラー領域の1ステップ報酬に対する解析的取り扱いにより、高価な数値積分が不要となり、計算効率が向上した。