[論文レビュー] Policy Search for Model Predictive Control with Application to Agile Drone Flight

Yunlong Song, Davide Scaramuzza|arXiv (Cornell University)|Dec 7, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、確率的方策探索を用いてMPCのハイレベル意思決定変数を学習することで、ポリシー探索とモデル予測制御（MPC）を統合する新規フレームワークを提案する。MPCをパrameter化された制御器として定式化し、自己教師付き方策学習により調整が難しいMPCのパrameterを最適化することで、シミュレーションおよび実世界の実験の両方で、高速移動するゲートを通過する高能動的ドローン飛行を、ロバストかつリアルタイムに実現可能にする。

ABSTRACT

Policy Search and Model Predictive Control~(MPC) are two different paradigms for robot control: policy search has the strength of automatically learning complex policies using experienced data, while MPC can offer optimal control performance using models and trajectory optimization. An open research question is how to leverage and combine the advantages of both approaches. In this work, we provide an answer by using policy search for automatically choosing high-level decision variables for MPC, which leads to a novel policy-search-for-model-predictive-control framework. Specifically, we formulate the MPC as a parameterized controller, where the hard-to-optimize decision variables are represented as high-level policies. Such a formulation allows optimizing policies in a self-supervised fashion. We validate this framework by focusing on a challenging problem in agile drone flight: flying a quadrotor through fast-moving gates. Experiments show that our controller achieves robust and real-time control performance in both simulation and the real world. The proposed framework offers a new perspective for merging learning and control.

研究の動機と目的

• 高能動的ドローン飛行におけるMPCハイパーパrameterおよび意思決定変数の手動チューニングの課題に対処すること。
• モデルベースのMPC（最適性、制約処理の優位性）とデータ駆動型方策探索（自動適応、一般化能力）の長所を統合すること。
• 学習されたハイレベル方策を用いて、高速移動するゲートを通過するマルチロータドローンのリアルタイムでロバストな制御を可能にすること。
• エキスパートのデモンストレーションを必要とせず、効率的な方策最適化が可能な自己教師付きトレーニングフレームワークの開発。
• 動的環境の変化を伴う挑戦的な実世界の制御タスクにおいて、提案フレームワークの有効性を実証すること。

提案手法

• ハイレベル意思決定変数（例：予測ホライズン、コスト重み）を方策探索で学習可能なパラメータ化された制御器としてMPCを定式化する。
• 閉形式のポリシー更新が可能なガウス方策を用い、状態に依存しないまたは状態に依存する意思決定変数を表現する。
• MPC最適化ループを活用して、方策学習のための監視信号を生成する自己教師付きトレーニング方式を提案する。
• 観測に依存する意思決定変数を用いて、ステップベースのオンライン適応が可能なニューラルネットワーク方策を実装する。
• MPCの目的関数を方策探索によって自動最適化可能な柔軟な損失関数および報酬関数を設計する。
• エピソードベースおよびステップベースの方策探索戦略を統合し、オフラインおよびオンライン方策学習を両立する。

実験結果

リサーチクエスチョン

• RQ1 方策探索は、手動チューニングを伴わずにMPCのハイレベル意思決定変数を効果的に学習可能であり、制御性能を向上させることができるか？
• RQ2 MPCが生成する軌道のみを用いて、自己教師付き学習を活用し、MPC用の方策をどのようにトレーニングできるか？
• RQ3 ガウス方策およびニューラルネットワーク方策は、異なる飛行状況および動的環境においてMPCパラメータを一般化可能か？
• RQ4 提案フレームワークは、シミュレーションおよび実世界の両環境で、高速移動するゲートを通過する高能動的ドローンに対してリアルタイムでロバストな制御を可能にするか？
• RQ5 学習とモデルベース制御の統合は、標準MPCやエンドツーエンド強化学習と比較して、性能をどのように向上させるか？

主な発見

• 提案フレームワークは、高速移動するゲートを通過する高能動的ドローン飛行において、シミュレーションおよび実世界の両方でロバストかつリアルタイムな制御性能を達成した。
• ガウス方策の使用により、予測ホライズンやコスト関数重みなどのMPCハイパーパラメータの自動チューニングが可能になった。
• ニューラルネットワーク方策により、リアルタイムの観測に基づくMPC意思決定変数のオンライン適応が可能となり、動的変化への対応性が向上した。
• 自己教師付きトレーニング方式により、最小限の人的介入とエキスパートデモンストレーションなしに、複雑な方策を効果的に学習できた。
• 学習された方策によるMPCパラメータの適応により、動的環境下で標準MPCを上回る性能を発揮した。
• フレームワークは一般化可能であり、複雑な軌道最適化と制約を伴う多様なロボットタスクに応用可能である。