[論文レビュー] Sample Efficient Path Integral Control under Uncertainty

Yunpeng Pan, Evangelos A. Theodorou+1 more|arXiv (Cornell University)|Sep 6, 2015

Model Reduction and Neural Networks参考文献 25被引用数 15

ひとこと要約

本稿では、確率的ダイナミクスモデルと前向き・後向き最適化スキームを活用することで、ポリシーのパrameter化を回避し、解析的に最適制御則を計算する、サンプル効率的でモデルベースの経路積分制御フレームワークを提案する。コントローラーの構成可能性を活用することで、ロボット制御タスクにおいて、サンプル効率および計算効率の両面で最先端の手法を上回る優れた一般化性能を達成する。

ABSTRACT

We present a data-driven optimal control framework that can be viewed as a generalization of the path integral (PI) control approach. We find iterative feedback control laws without parameterization based on probabilistic representation of learned dynamics model. The proposed algorithm operates in a forward-backward manner which differentiate from other PI-related methods that perform forward sampling to find optimal controls. Our method uses significantly less samples to find optimal controls compared to other approaches within the PI control family that relies on extensive sampling from given dynamics models or trials on physical systems in model-free fashions. In addition, the learned controllers can be generalized to new tasks without re-sampling based on the compositionality theory for the linearly-solvable optimal control framework. We provide experimental results on three different systems and comparisons with state-of-the-art model-based methods to demonstrate the efficiency and generalizability of the proposed framework.

研究の動機と目的

• 広範な前向きサンプリングや物理的試行に依存する従来の経路積分制御手法のサンプル非効率性を是正すること。
• モデルベース制御におけるポリシーのパrameter化の制限を克服し、解空間を制限し一般化を妨げる要因を排除すること。
• 再サンプリングを伴わずに、線形に解ける最適制御フレームワークにおける構成可能性を活用して、学習済みコントローラーを新しいタスクに一般化できること。
• ダイナミクスモデルにおける不確実性の定量を制御コストの定式化に統合し、ノイズレベルに応じて制御重みを動的に適応させること。
• 標準的な前向きサンプリングPI手法とは異なる、前向き・後向きのアルゴリズム的構造を構築し、収束性と効率性を向上させること。

提案手法

• 少数のデータサンプルからガウス過程回帰を用いて、受動的ダイナミクス（ドリフト項）を学習し、システムの不確実性を確率的表現で提供する。
• 前向き・後向き最適化スキームを適用：まず学習済みダイナミクスにおける決定的近似推論を実行し、その後、チャップマン＝コルモゴロフPDEの後向き解法により最適制御則を計算する。
• 線形に解ける最適制御フレームワークにおけるPDEの線形性を活用することで、ポリシーのパrameter化なしに解析的制御則を導出する。
• 学習済みダイナミクスモデルの不確実性に基づいて制御コスト重みを動的に適応させ、制御コストとシステムノイズの間の構造的制約を強制する。
• 複合コントローラー構築ルール（式18）を採用し、複数の学習済みコントローラーをその性能の重み付き平均で結合することで、新しいタスクへのゼロショット一般化を可能にする。
• 各時刻でオンラインでの再最適化を実行し、学習中の迅速な適応とサンプル効率の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 前向きサンプリングや物理的ロールアウトを避けることで、経路積分制御手法が高サンプル効率を達成できるか？
• RQ2 不確実なダイナミクス環境下でも、事前のポリシーのパrameter化なしに最適制御則を解析的に導出できるか？
• RQ3 再サンプリングを伴わずに、学習済みコントローラーを新しいタスクに一般化できるか？そのような一般化を可能にする条件は何か？
• RQ4 ダイナミクスモデルの不確実性を制御コスト定式化に統合することで、ロバストネスと性能が向上するか？
• RQ5 提案手法の前向き・後向きスキームは、標準的な前向きサンプリングPI手法と比較して、サンプル効率および計算効率の面で優れているか？

主な発見

• 提案手法は、カート・ポールとダブルペンダムタスクにおいて、PILCO や PDDP よりもはるかに少ないサンプル数で終端状態コスト（ΨT）を顕著に低減し、優れたサンプル効率を示した。
• カート・ポールのスイングアップタスクでは、提案手法が10試行未満でベースライン性能に到達したが、PILCO や PDDP は同等の性能に到達するまでに20試行以上を要した。
• グローバル最適化のため、試行あたりの計算時間はPDDPよりやや長かったが、依然として妥当な範囲にあり、サンプリング集約型手法よりも迅速に最適性能に収束した。
• 7つの独立して学習されたコントローラーから構成された複合コントローラーは、再最適化済みコントローラーと比較して5%以内の望ましさスコアを達成し、タスク間での効果的なゼロショット一般化を実証した。
• 大規模な非線形最適化を回避することで、PILCO よりも計算効率に優れつつ、最先端のモデルベースRL手法と同等のサンプル効率を維持した。
• フレームワークは各時刻でのオンライン再最適化を可能にし、このメカニズムが、同様の機構を備えない手法と比較して、サンプル効率と収束速度の両面で顕著な貢献を果たした。