[論文レビュー] Learning-based Model Predictive Control for Safe Exploration

Torsten Koller, Felix Berkenkamp+2 more|arXiv (Cornell University)|Mar 22, 2018

Advanced Control Systems Optimization参考文献 29被引用数 14

ひとこと要約

本稿では、未知の力学的システムの探索中に高い確率での安全保証を確保する学習ベースのモデル予測制御フレームワーク、SafeMPCを提案する。ガウス過程モデルを用い、連携した信頼区間と終端集合制約を組み合わせることで、再帰的に安全な戻りの軌道を保証し、システム制約に違反することなく、効率的かつ安全な学習を可能にする。

ABSTRACT

Learning-based methods have been successful in solving complex control tasks without significant prior knowledge about the system. However, these methods typically do not provide any safety guarantees, which prevents their use in safety-critical, real-world applications. In this paper, we present a learning-based model predictive control scheme that can provide provable high-probability safety guarantees. To this end, we exploit regularity assumptions on the dynamics in terms of a Gaussian process prior to construct provably accurate confidence intervals on predicted trajectories. Unlike previous approaches, we do not assume that model uncertainties are independent. Based on these predictions, we guarantee that trajectories satisfy safety constraints. Moreover, we use a terminal set constraint to recursively guarantee the existence of safe control actions at every iteration. In our experiments, we show that the resulting algorithm can be used to safely and efficiently explore and learn about dynamic systems.

研究の動機と目的

• 学習ベースの制御手法に安全保証が欠如していることにより、実世界の安全が重要な応用分野への応用が制限されている問題に対処する。
• システム学習中に不安全な行動を引き起こす可能性がある楽観的探索戦略の限界を克服する。
• モデル不確実性下でも安全な軌道の再帰的実行可能性を保証するモデル予測制御方式を開発する。
• 統計的学習理論とガウス過程モデルにおける不確実性伝播を用いて、形式的かつ高確率の安全保証を提供する。
• 適応的ホライズン選択とパフォーマンス軌道計画を用いて、情報量の獲得と安全性のバランスを取ることで、効率的な探索を可能にする。

提案手法

• 未知のシステム力学をモデル化するためにガウス過程（GP）事前分布を用い、既知の事前平均関数 h(x,u) とGP分布の誤差項 g(x,u) を有する。
• 時間的依存性を考慮した新しい不確実性伝播法を用いて、GPモデルの信頼区間を時間的に前方に伝播させ、真の軌道分布の楕円型過近似を提供する。
• 統計的学習理論を用いて、全時間ステップにわたる真のシステム力学が高確率で含まれるように、軌道全体にわたる連携信頼区間を構築する。
• 不確実性伝播を制約付きMPCと統合し、状態および制御制約を満たしつつ、終端集合制約により再帰的実行可能性を保証する。
• 平均同等の不確実性伝播を用いたパフォーランス軌道計画メカニズムを採用し、探索を誘導する。予測不確実性を最大化すると同時に、安全な軌道からの逸脱を最小限に抑える。
• 運用中に収集された新しい観測値を繰り返し更新することで、GPモデルを改善し、時間経過とともにモデルの正確性と制御性能を向上させながら、安全を維持する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのMPCフレームワークは、システムに関する事前の知識がなくとも、システムの探索中に証明可能な高確率の安全保証を提供できるか？
• RQ2 非線形かつ非ガウス分布のシステムにおいて、GPモデルを用いて複数時間ステップにわたるモデル不確実性を信頼性高く伝播できるか？
• RQ3 ホライズン長が安全な学習環境下での探索効率と情報量獲得に与える影響は何か？
• RQ4 パフォーランス軌道計画は、安全制約を維持したまま探索効率を向上させることができるか？
• RQ5 終端集合制約は、制御方策における再帰的実行可能性と長期的安定性にどのように寄与するか？

主な発見

• SafeMPCは、GPモデルから導出された軌道にわたる連携信頼区間を用いることで、学習プロセス全体にわたり高い確率での安全保証を維持した。
• アルゴリズムは未知のシステムの効率的探索を可能にし、情報量の獲得が最も高くなるホライズン長 T=4 で、短いおよび長いホライズンよりも優れた性能を示した。
• システムリセットなしの動的探索において、パフォーランス軌道計画メカニズムの導入により、標準的なSafeMPCに比べて顕著に高い情報量の獲得が達成された。
• より長いホライズン（T=5）では相互情報量の増加が遅く、初期の探索が長時間にわたる不確実性伝播のため、情報量が少ないことが示された。
• 安全でない行動を回避しながらも、高いデータ効率と迅速な学習を達成できるため、標準的な楽観的探索戦略を上回る性能を示した。
• 適応的ホライズン選択または可変ホライズンMPCは、相互情報量の飽和が顕著になる段階でさらなる性能向上をもたらす可能性がある。