[論文レビュー] Flying through a narrow gap using neural network: an end-to-end planning and control approach

Jiarong Lin, Luqi Wang+3 more|arXiv (Cornell University)|Mar 21, 2019

Robotic Path Planning Algorithms被引用数 7

ひとこと要約

本論文は、狭く傾いたギャップを通過するドローンのため、センサ入力を直接推力・姿勢制御命令にマッピングするエンドツーエンドのディープ強化学習フレームワークを提案する。まず従来の運動計画パイプラインを模倣し、その後強化学習によるファインチューニングを行うことで、モデルベース手法と同等の性能を達成しつつ、推力消費を低減し、より高い耐障害性を実現した。

ABSTRACT

In this paper, we investigate the problem of enabling a drone to fly through a tilted narrow gap, without a traditional planning and control pipeline. To this end, we propose an end-to-end policy network, which imitates from the traditional pipeline and is fine-tuned using reinforcement learning. Unlike previous works which plan dynamical feasible trajectories using motion primitives and track the generated trajectory by a geometric controller, our proposed method is an end-to-end approach which takes the flight scenario as input and directly outputs thrust-attitude control commands for the quadrotor. Key contributions of our paper are: 1) presenting an imitate-reinforce training framework. 2) flying through a narrow gap using an end-to-end policy network, showing that learning based method can also address the highly dynamic control problem as the traditional pipeline does (see attached video: https://www.youtube.com/watch?v=jU1qRcLdjx0). 3) propose a robust imitation of an optimal trajectory generator using multilayer perceptrons. 4) show how reinforcement learning can improve the performance of imitation learning, and the potential to achieve higher performance over the model-based method.

研究の動機と目的

• 従来の計画・制御パイプラインに依存せずに、狭く傾いたギャップを高速で通過するドローン飛行を可能にすること。
• 高動的状況下において、エンドツーエンドの学習ベース制御がモデルベース手法の性能を同等または上回ることを検証すること。
• 一般化性と制御効率を向上させる、頑健なインピーリテーション・強化学習フレームワークを開発すること。
• ニューラルネットワークポリシーが複雑で動的な環境でも安定的かつ正確な飛行を達成できることを示すこと。

提案手法

• エンドツーエンドのポリシーネットワークを、運動プリミティブを用いて動的実行可能軌道を生成する従来の運動プランナを模倣する形で、インピーリテーション学習により訓練する。
• ネットワークは環境状態とターゲットポーズを入力とし、クアッドロプタのリアルタイムな推力および姿勢命令を出力する。
• インピーリテーション学習の段階で、一般化性と収束速度の向上を目的として、データ正規化とオーグメンテーションを適用する。
• 強化学習によるファインチューニングフェーズでは、密なスパース報酬に基づいてポリシーを最適化するため、信頼領域ポリシー最適化（TRPO）アルゴリズムを用いる。
• フレームワークは20,000件のランダム軌道を用いたシミュレーテッド環境で訓練され、別途100件の軌道を用いたテストセットで検証された。
• システム全体はリアルタイムで動作し、Jetson TX2プラットフォーム上では計画処理で3–5 ms、エンドツーエンドネットワークで6–7 msの推論遅延を達成している。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルネットワークポリシーは、アグレッシブなギャップ通過タスクにおいて、従来のモデルベース計画・制御パイプラインと同等またはそれ以上の性能を達成できるか？
• RQ2 マルチレイヤーパーセプトロンを用いたインピーリテーション学習は、複雑な飛行状況下で最適な軌道生成器をどれほど正確に再現できるか？
• RQ3 強化学習によるファインチューニングは、模倣されたポリシーの耐障害性と効率性をどの程度向上させるか？
• RQ4 インピーリテーション・リインフォースフレームワークは、制御効率（例：低推力）を低下させつつ、飛行精度を維持または向上させられるか？

主な発見

• GTX 1080 Tiで数日間のトレーニングを経て、インピーリテーション学習フェーズではテスト損失が0.99、トレーニング損失が0.67に達し、基準軌道の強力な模倣が確認された。
• エンドツーエンドポリシーは、最大3 m/sの速度および最大60°の傾きを持つ狭いギャップを通過するのに成功し、高動的状態でも実行可能であることが示された。
• 強化学習によるファインチューニングにより、模倣誤差に起因する角速度のフラクチュエーションが低減され、振動が抑制された。
• RLファインチューニング済みポリシーは、すべての手法の中で平均推力が最も低く抑えられ、エネルギー効率の向上と滑らかな制御が実現された。
• データ正規化とオーグメンテーションの組み合わせが、最も速い収束速度と最小のテスト損失をもたらし、一般化性に不可欠であることが証明された。
• エンドツーエンド手法は、推力効率と耐障害性の面で従来のモデルベースパイプラインを上回り、複雑な環境下でもより高い性能を示す可能性を示した。