[論文レビュー] Adaptive Probabilistic Trajectory Optimization via Efficient Approximate Inference

Yunpeng Pan, Xinyan Yan+2 more|arXiv (Cornell University)|Aug 22, 2016

Gaussian Processes and Bayesian Inference参考文献 23被引用数 7

ひとこと要約

本稿では、スパーススペクトルガウス過程（SSGP）を用いた効率的な近似推論による、適応的確率的軌道最適化を提案する。これにより、不確実性のある環境における高速でオンライン学習が可能となり、ロボット制御タスクにおいてリアルタイム性能と耐性を実現する。ベルリフ空間最適化とDDPに基づく軌道最適化を組み合わせることで、従来のモデルベースRLおよびMPC手法に比べ、サンプル効率性と適応性に優れた性能を達成する。

ABSTRACT

Robotic systems must be able to quickly and robustly make decisions when operating in uncertain and dynamic environments. While Reinforcement Learning (RL) can be used to compute optimal policies with little prior knowledge about the environment, it suffers from slow convergence. An alternative approach is Model Predictive Control (MPC), which optimizes policies quickly, but also requires accurate models of the system dynamics and environment. In this paper we propose a new approach, adaptive probabilistic trajectory optimization, that combines the benefits of RL and MPC. Our method uses scalable approximate inference to learn and updates probabilistic models in an online incremental fashion while also computing optimal control policies via successive local approximations. We present two variations of our algorithm based on the Sparse Spectrum Gaussian Process (SSGP) model, and we test our algorithm on three learning tasks, demonstrating the effectiveness and efficiency of our approach.

研究の動機と目的

• ロボット制御におけるモデルフリー強化学習の収束が遅い問題に対処すること。
• 制御用途における非パrametric確率的モデルにおける近似推論の計算ボトルネックを克服すること。
• モデルベースRLのサンプル効率性とモデル予測制御（MPC）の反応性を統合すること。
• 不確実性下でのダイナミクスモデルおよび制御方策のオンライン的・段階的学習を可能にすること。
• リアルタイムのロボット意思決定に適したスケーラブルな推論技術の開発すること。

提案手法

• 本手法は、スパーススペクトルガウス過程（SSGP）を用いて、効率的かつスケーラブルな近似推論でシステムのダイナミクスをモデル化する。
• コスト関数およびダイナミクスの局所的二次近似を用いた微分動的プログラミング（DDP）を用いて、ベルリフ空間軌道最適化を実行する。
• アルゴリズムは各時刻でオンライン再最適化を実行し、変化するダイナミクスに適応する。これはMPCに類似している。
• 制御制約は、投影ニュートン最適化を用いた二次計画法により扱い、フィードバック構造を保持する。
• 本手法は、リアルタイムでの新規データを用いたSSGPモデルおよびベルリフ状態の段階的更新を実現する。
• スケーラビリティを向上させるために、異なるSSGP推論戦略に基づく2つのアルゴリズムバージョンを提案する。

実験結果

リサーチクエスチョン

• RQ1 確率的ダイナミクスモデルにおけるスケーラブルな近似推論が、ロボットシステムにおけるリアルタイムで適応的な制御を可能にするか。
• RQ2 DDPに基づく軌道最適化とオンラインモデル更新を組み合わせることで、サンプル効率性と耐性がどのように向上するか。
• RQ3 制御応用において、標準的なGP推論と比較して、SSGPベースの推論が計算コストをどの程度低減できるか。
• RQ4 変化するダイナミクスや部分観測性があるタスクにおいて、本手法はどの程度の性能を示すか。
• RQ5 ベルリフ空間DDPとオンライン再最適化により、不確実性のある環境で、標準的なMPCやモデルフリーRLを上回る性能を達成できるか。

主な発見

• 提案手法は、3つのロボット制御タスクにおいてリアルタイム性能を達成し、高速な収束性とモデル不確実性に対する耐性を示した。
• SSGPの使用により、標準的なGPベースの手法と比較して推論時間が顕著に短縮され、オンライン学習が可能になった。
• 段階的モデル更新とオンライン再最適化を通じて、変化するダイナミクスの学習と適応が成功裏に実現された。
• 投影ニュートン最適化を用いたQPによる制御制約の取り扱いにより、安定性と実行可能性が維持され、フィードバック制御構造が保持された。
• ベースラインのモデルフリーおよびモデルベースRL手法に比べ、サンプル効率性と最終タスク性能の両面で優れた性能を示した。
• 実験的結果から、SSGP推論を用いたベルリフ空間DDPは、限られたデータでも安定的かつ高精度な制御を実現できることを示した。