[論文レビュー] Model-based Path Integral Stochastic Control: A Bayesian Nonparametric Approach

Yunpeng Pan, Evangelos A. Theodorou+1 more|arXiv (Cornell University)|Dec 9, 2014

Gaussian Processes and Bayesian Inference参考文献 15被引用数 5

ひとこと要約

本稿では、限られたデータから時間変動する最適制御を学習するため、ガウス過程と経路積分形式を用いたモデルベースでベイジアン非パrametricな確率的最適制御フレームワークを提案する。解析的経路積分解法と反復的重要度サンプリングを活用することで、特にカートポールやカート・ダブルパンドルのスイングアップといった高次元で複雑なタスクにおいて、サンプリングベースの経路積分制御やGPベースのポリシー探索と比較して、データ効率性と学習速度に優れた性能を達成する。

ABSTRACT

Over the last few years, sampling-based stochastic optimal control (SOC) frameworks have shown impressive performances in reinforcement learning (RL) with applications in robotics. However, such approaches require a large amount of samples from many interactions with the physical systems. To improve learning efficiency, we present a novel model-based and data-driven SOC framework based on path integral formulation and Gaussian processes (GPs). The proposed approach learns explicit and time-varying optimal controls autonomously from limited sampled data. Based on this framework, we propose an iterative control scheme with improved applicability in higher-dimensional and more complex control tasks. We demonstrate the effectiveness and efficiency of the proposed framework using two nontrivial examples. Compared to state-of-the-art RL methods, the proposed framework features superior control learning efficiency.

研究の動機と目的

• 高次元ロボットシステムにおけるサンプリングベースの確率的最適制御（SOC）手法のデータ非効率性を解消すること。
• 既存のSOCフレームワークにおける固定ポリシー表現の制限を克服し、非パrametricでモデルベースの最適制御の学習を可能にすること。
• ガウス過程動的モデルと解析的経路積分解法を統合することで、学習速度とデータ効率性を向上させること。
• 制御不能なダイナミクスのサンプリングが不十分な複雑なアンダーアクチュエーテッド系において、性能を向上させる反復的制御スキームを開発すること。
• PILCO や反復的 PI といった最先端手法と比較して、データ消費量、計算時間、制御品質の観点で優れた性能を示すこと。

提案手法

• 未知のドリフト行列と拡散行列を持つ連続時間の確率微分方程式（SDE）として、確率的最適制御問題を定式化し、ガウス過程を用いて非パrametricにモデル化する。
• フェインマン＝カックの公式を適用して、ハミルトニアン＝ジャコビ＝ベルマン方程式を経路積分表現に変換し、最適制御の解析的計算を可能にする。
• 限られたサンプル軌道からガウス過程を用いて動的モデルを学習し、ベイジアンフレームワーク内でモデルの不確実性を組み込む。
• 制御されたダイナミクスからのサンプリングに基づく重要度サンプリングを用いた反復的制御スキームを実装し、制御不能なダイナミクスからのサンプリングではなく、制御されたダイナミクスからのサンプルを用いて制御を更新する。
• 数値的PDE解法や反復的最適化を回避するため、経路積分の解析的評価を通じて明示的で時間変動する最適制御則を導出する。
• 2つの変種を導入する：GPPI（制御不能なダイナミクスからのサンプリングに基づく）とiGPPI（制御されたダイナミクスからの重要度サンプリングを用いた反復的改善）。両者とも解析的経路積分解法を活用する。

実験結果

リサーチクエスチョン

• RQ1 サンプリングベースの経路積分法と比較して、ベイジアン非パrametricなモデルベース手法が、確率的最適制御におけるデータ効率性を向上させられるか。
• RQ2 解析的経路積分解法と組み合わせたガウス過程動的モデルの統合が、高次元系における学習速度と制御性能に与える影響は何か。
• RQ3 制御されたダイナミクスからの重要度サンプリングを用いた反復的改善が、複雑でアンダーアクチュエーテッドなタスクにおける性能向上にどの程度寄与するか。
• RQ4 PILCO や反復的 PI と比較して、提案フレームワークのデータ効率性と計算コストはどのように異なるか。
• RQ5 事前のポリシー表現のパラメータ化や外部の最適化ソルバに依存せずに、最適制御を学習できるか。

主な発見

• GPPI と iGPPI は、反復的 PI 制御と同等の最適制御性能を達成するが、はるかに少ないサンプルデータ点と短い合計計算時間を要する。
• カート・ダブルパンドルのスイングアップのような複雑なタスクでは、制御不能なダイナミクスからのサンプリングだけでは収束しないため、iGPPI は GPPI を上回る性能を示す。
• 提案フレームワークは、サンプリングベースの PI 制御と比較して、データ消費量と学習時間を削減し、優れたデータ効率性を示している。
• PILCO に比べて、反復的ポリシー最適化が不要なため、一部の状況を除き、より高速な学習速度を達成している（PILCO は一部の状況で優れたデータ効率性を示すが）。
• 反復的スキーム（iGPPI）は、高次元でアンダーアクチュエーテッドな系において、より良い終端コストの低減を実現しており、複雑な制御タスクへの適用性の向上を確認している。
• 解析的経路積分形式により、数値的PDE解法や勾配ベース最適化を回避した明示的で閉形式の制御則が得られ、計算効率が向上している。