[論文レビュー] Learning Deep Control Policies for Autonomous Aerial Vehicles with MPC-Guided Policy Search

Tianhao Zhang, Gregory Kahn+2 more|arXiv (Cornell University)|Sep 22, 2015

Advanced Control Systems Optimization参考文献 41被引用数 19

ひとこと要約

本稿では、自律飛行ドローン用の深層ニューラルネットワークポリシーを訓練するためのMPCガイドドポリシー探索を提案する。モデル予測制御（MPC）を用いて、全状態監視のもとで安全で高品質な訓練データを生成する一方、最終的なポリシーはオフボードセンサ入力のみに依存して動作する。この手法により、訓練中に深刻な失敗を伴わず、高速で頑健な障害物回避が可能となり、MPCに比べて著しく低い計算コストでリアルタイム推論を達成する。

ABSTRACT

Model predictive control (MPC) is an effective method for controlling robotic systems, particularly autonomous aerial vehicles such as quadcopters. However, application of MPC can be computationally demanding, and typically requires estimating the state of the system, which can be challenging in complex, unstructured environments. Reinforcement learning can in principle forego the need for explicit state estimation and acquire a policy that directly maps sensor readings to actions, but is difficult to apply to unstable systems that are liable to fail catastrophically during training before an effective policy has been found. We propose to combine MPC with reinforcement learning in the framework of guided policy search, where MPC is used to generate data at training time, under full state observations provided by an instrumented training environment. This data is used to train a deep neural network policy, which is allowed to access only the raw observations from the vehicle's onboard sensors. After training, the neural network policy can successfully control the robot without knowledge of the full state, and at a fraction of the computational cost of MPC. We evaluate our method by learning obstacle avoidance policies for a simulated quadrotor, using simulated onboard sensors and no explicit state estimation at test time.

研究の動機と目的

• 探索中に深刻な失敗を引き起こす危険性がある不安定な航空機のための深層強化学習ポリシーの訓練という課題に対処する。
• 従来の強化学習の限界を克服するため、訓練中に安全で高品質な監視者としてMPCを用いる。
• 最終的なポリシーがテスト時に状態推定を明示的に行わずに、オフボードセンサデータ（例：IMU、レーザ距離計）のみに依存して動作することを可能にする。
• テスト時に計算コストの高いMPCに代わる軽量で微分可能なニューラルネットワークポリシーを訓練することで、リアルタイム推論を達成する。
• 再訓練なしに、ランダムフォレストや曲がりくねった通路など、非構造的かつ未確認の環境へも学習済みポリシーの一般化を実証する。

提案手法

• 訓練中に、代替コスト関数を用いたオンラインモデル予測制御（MPC）を用いて最適な行動を生成し、インストルメンテッド環境（例：モーションキャプチャ）からの全状態観測を用いる。
• 現在のニューラルネットワークポリシーをMPCコスト関数に統合し、行動の一貫性を促進することで、ポリシーが現実的に実行可能な行動を学習できるようにする。
• MPCが生成した行動をターゲットとして、入力をオフボードセンサ読み取り値に限定した状態で、教師あり学習により深層ニューラルネットワークポリシーを訓練する。
• 訓練（オフボード、全状態）と推論（オンボード、センサのみ）を分離することで、訓練中にエージェントが失敗に晒されることなく、安全で高精度なポリシー学習を実現する。
• 強化学習を教師あり学習問題に変換するガイドドポリシー探索を活用し、サンプル効率と収束安定性を向上させる。
• ドメインランダマイゼーションおよびモデル摂動（例：質量バイアス、ローターのバイアス、パrameter不確実性）を適用し、訓練中にポリシーの一般化能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 MPCガイドドポリシー探索は、深刻な失敗を伴わず、不安定な航空機のための深層ニューラルネットワークポリシーの安全な訓練を可能にするか？
• RQ2 MPCが生成した行動に基づいて学習したポリシーは、オフボードセンサ入力のみで、複雑で非構造的な環境へ一般化可能か？
• RQ3 現在のポリシーをMPCコスト関数に組み込むことで、ニューラルネットワークの訓練データの質と一貫性が向上するか？
• RQ4 モデル不確実性下でのロバストネスと一般化能力において、標準的な強化学習およびベースラインガイドドポリシー探索と比較して、本手法はどのように優れているか？
• RQ5 テスト時に、最終的なニューラルネットワークポリシーは、MPCに比べてどの程度リアルタイム性能を達成し、計算コストを低減できるか？

主な発見

• MPCガイドドポリシー探索手法は、顕著なモデル誤差が存在する中でも、訓練中にいかなる深刻な失敗も発生させることなく、マルチローターの障害物回避ポリシーを正常に訓練した。
• モデル不確実性（例：8%のローターのバイアス、3.3%の質量誤差、パラメータ精度の低下）が存在する状況でも、無限の森と曲がりくねった通路の両テストシナリオにおいて、2つのベースラインを上回る性能を示した。
• 最終的なニューラルネットワークポリシーは、無限の森で平均100秒以上の飛行時間、曲がりくねった通路で80秒以上の飛行時間を達成し、未確認の環境への強力な一般化能力を示した。
• ランダムなシリンダー配置や、5mごとに最大30°のランダムな曲がり角を含む環境に対しても、ポリシーは効果的に一般化でき、空間的変動性に対するロバストネスを示した。
• 最終的なポリシーは計算的に効率的であり、オンボードデプロイメントに適しており、MPCの計算コストの僅か数分の1で動作しながらも、高い性能を維持した。
• インストルメンテッドな訓練環境により、全状態フィードバックを用いた安全で高品質なデータ収集が可能になった一方、最終的なポリシーは状態推定を必要とせず、実世界への実用的デプロイメントが可能となった。