[論文レビュー] Approximately Optimal Continuous-Time Motion Planning and Control via Probabilistic Inference

Mustafa Mukadam, Ching-An Cheng+2 more|arXiv (Cornell University)|Feb 23, 2017

Robotic Path Planning Algorithms参考文献 25被引用数 4

ひとこと要約

本稿では、任意の高次非線形性能指標を有する確率的システムにおける連続時間の近似的最適な運動計画と制御のための確率的推論に基づくアルゴリズム、PIPCを提案する。問題をガウス過程に基づく確率的グラフィカルモデルにおける事後分布推論として定式化することにより、非線形要因の数に対して線形の計算量を達成し、閉ループ性能を伴う効率的なオンライン再帰的予測ホライズン計画を実現する。

ABSTRACT

The problem of optimal motion planing and control is fundamental in robotics. However, this problem is intractable for continuous-time stochastic systems in general and the solution is difficult to approximate if non-instantaneous nonlinear performance indices are present. In this work, we provide an efficient algorithm, PIPC (Probabilistic Inference for Planning and Control), that yields approximately optimal policies with arbitrary higher-order nonlinear performance indices. Using probabilistic inference and a Gaussian process representation of trajectories, PIPC exploits the underlying sparsity of the problem such that its complexity scales linearly in the number of nonlinear factors. We demonstrate the capabilities of our algorithm in a receding horizon setting with multiple systems in simulation.

研究の動機と目的

• 複雑な高次非線形性能指標を有する連続時間の確率的システムにおける最適な運動計画と制御の課題に対処すること。
• 特に状態と制御入力が時間的に結合する非線形要因が存在する一般の連続時間最適制御問題において、正確な解が得られないという困難を克服すること。
• 性能指標の構造的スパarsityを活用することで、問題の複雑さに比例して効率的にスケーリングするアルゴリズムの開発。
• 最適制御問題を確率的グラフィカルモデル上の双対推論問題に変換することで、リアルタイムで閉ループ計画と制御を実現すること。
• 従来の推論に基づく制御フレームワークを、即時のコストを超える任意の非線形要因を扱えるように拡張し、より洗練された性能仕様を可能にすること。

提案手法

• 一般化された線形-指数-二次-ガウス型（gLEQG）フレームワークを用いて、最適制御問題を双対な確率的推論問題として定式化する。
• 軌道をガウス過程として表現することで、不変パラメータ化された滑らかなポリシー表現と不確実性の定量化を可能にする。
• ラプラス近似を用いて、軌道上でのガウス事後分布近似を導出し、効率的な推論を実現する。
• 性能指標の要因グラフ表現におけるスパarsityを活用することで、非線形要因の数に対して計算量が線形にスケーリングされることを保証する。
• 観測が得られるたびにベイズ推論を用いてポリシーを再帰的に更新する再帰的ホライズン制御戦略を実装する。
• 不確実な環境におけるロバストネスを高めるために、マルコフ決定過程（MDP）および部分的に観測可能なMDP（POMDP）の両方の枠組みにアルゴリズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 任意の高次非線形性能指標を有する連続時間最適制御問題を、確率的推論を用いて解くことは可能か？
• RQ2 即時のコスト要因にとどまらず、非即時の非線形コスト要因を含む問題に対しても、最適制御と推論の双対性は成立するか？
• RQ3 性能指標の構造的スパarsityを活用することで、このような問題の計算量を非線形要因の数に対して線形に抑えることは可能か？
• RQ4 提案手法の推論に基づくアプローチは、動的で不確実な環境下で、従来のオープンループおよび閉ループ計画アルゴリズムと比較して、どのように性能を発揮するか？
• RQ5 部分観測性および非ガウス分布のノイズを伴う状況において、アルゴリズムはリアルタイムで再帰的ホライズン設定に効率的に適用可能か？

主な発見

• PIPCは、高次元のシステムノイズ（$Q_x$）や複雑な障害物環境下においても、オープンループ手法と比較して著しく高い成功確率を達成した。
• 2次元ホロノミックロボットのベンチマークにおいて、閉ループPIPCは$Q_x = 0.01$のMDPケースで100%の成功率を達成したが、ノイズが増加した場合（$Q_x = 0.03$）にオープンループ手法の成功率は85%まで低下した。
• WAMおよびPR2ロボットアームのケースでは、$Q_x = 0.01$のMDPケースでPIPCは100%の成功率を維持した。さらに、高ノイズ環境（$Q_x = 0.03$）下でも、オープンループPOMDP手法（成功率90%対75%）を上回った。
• ノイズと障害物数が増加するにつれて、集計指標（所要時間、経路長、経路コスト）は上昇したが、PIPCによる成功した実行では、軌道の質とロバストネスに一貫した改善が見られた。
• 7-DOFアームを含む高次元システムに対してもスケーラビリティを示し、低次元問題にとどまらない応用可能性を確認した。
• 閉ループPIPCは常にオープンループベースラインを上回り、不確実性が高くなるほど成功率の差が拡大した。これは、不確実性に対して強いロバストネスを示している。