[論文レビュー] How to Train your Quadrotor: A Framework for Consistently Smooth and Responsive Flight Control via Reinforcement Learning

Siddharth Mysore, Bassel Mabsout+2 more|arXiv (Cornell University)|Dec 11, 2020

Reinforcement Learning in Robotics参考文献 42被引用数 14

ひとこと要約

本論文では、報酬構造と状態表現の再設計により、マルチローター制御方策の滑らかさと現実世界への適合性を向上させる強化学習フレームワークであるRE+ALを紹介する。乗乗報酬の組み合わせとRCコマンドにインspiredされたトレーニング信号を用いることで、RE+ALはモータ制御の振動周波数を330Hzから130Hzに低減し、100%の飛行可能なエージェントを実現した。また、実機上での追従精度と電力効率において、チューニング済みのPIDコントローラーを上回った。

ABSTRACT

We focus on the problem of reliably training Reinforcement Learning (RL) models (agents) for stable low-level control in embedded systems and test our methods on a high-performance, custom-built quadrotor platform. A common but often under-studied problem in developing RL agents for continuous control is that the control policies developed are not always smooth. This lack of smoothness can be a major problem when learning controllers %intended for deployment on real hardware as it can result in control instability and hardware failure. Issues of noisy control are further accentuated when training RL agents in simulation due to simulators ultimately being imperfect representations of reality - what is known as the reality gap. To combat issues of instability in RL agents, we propose a systematic framework, `REinforcement-based transferable Agents through Learning' (RE+AL), for designing simulated training environments which preserve the quality of trained agents when transferred to real platforms. RE+AL is an evolution of the Neuroflight infrastructure detailed in technical reports prepared by members of our research group. Neuroflight is a state-of-the-art framework for training RL agents for low-level attitude control. RE+AL improves and completes Neuroflight by solving a number of important limitations that hindered the deployment of Neuroflight to real hardware. We benchmark RE+AL on the NF1 racing quadrotor developed as part of Neuroflight. We demonstrate that RE+AL significantly mitigates the previously observed issues of smoothness in RL agents. Additionally, RE+AL is shown to consistently train agents that are flight-capable and with minimal degradation in controller quality upon transfer. RE+AL agents also learn to perform better than a tuned PID controller, with better tracking errors, smoother control and reduced power consumption.

研究の動機と目的

• シミュレーションから実機への移行が信頼性に欠ける、不安定で滑らかでないRLベースのマルチローター制御方策の継続的問題に対処すること。
• 実世界の動的特性と制御行動をよりよく反映するシミュレーション環境の設計により、現実性のギャップを縮小すること。
• 手動チューニングを必要とせず、一貫して飛行可能な低振動制御器を生成できる、体系的かつ再現可能なトレーニングパイプラインの開発。
• RE+ALでトレーニングされたRLエージェントが、追従誤差や消費電力といった実世界の性能指標において、古典的PIDコントローラーを上回ることの実証。

提案手法

• 訓練のばらつきを低減し、方策の一貫性を向上させるために、進行度、滑らかさ、制御効率ペナルティを乗乗組み合わせた報酬構造を設計する。
• パイロットに似た制御行動と整合性を持つように、状態空間を再設計する。
• 実世界のRCコマンドを模倣するトレーニング信号を構築し、シミュレートされた制御ダイナミクスと現実世界のダイナミクスの間の忠実度を向上させる。
• シミュレータへの過剰適合を防ぎ、適合性を維持するために、トレーニング中に早期停止を導入する。
• SACおよびPPOアルゴリズムを用い、新しい報酬構造と状態設計に基づいてNF1マルチローター・プラットフォーム上でエージェントをトレーニングする。
• シミュレーション、トレーニング、ファームウェアコンパイルを統合したフルスタックパイプラインを実装し、組み込みハードウェアへの直接デプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 再設計された報酬構造は、シミュレーションから実機への移行におけるRLベースのマルチローター制御方策の滑らかさと適合性を顕著に向上させることができるか？
• RQ2 乗乗報酬の組み合わせは訓練のばらつきを低減させ、複数のRLアルゴリズムにわたる一貫性のある方策学習を促進するか？
• RQ3 状態空間およびアクション表現の設計が、シミュレートされた制御行動と現実世界のRCパイロット入力との間の整合性をどの程度向上させられるか？
• RQ4 このフレームワークでトレーニングされたRLエージェントは、実世界の飛行性能においてチューニング済みの古典的PIDコントローラーを上回ることができるか？
• RQ5 シミュレーション内での延長トレーニングは適合性能を劣化させるか。もしそうならば、早期停止はその影響をどのように緩和できるか？

主な発見

• RE+ALは、従来のNeuroflightベースラインで30体中1体しか飛行不能だったのに対し、実際のNF1マルチローター上で100%の飛行可能なエージェントを達成した。
• RE+ALでトレーニングされたモータ制御信号のピーク振動周波数は、ベースライン手法で観察された330Hzから130Hzに顕著に低減された。
• RE+ALエージェントの平均追従誤差は4.2 deg/sであり、実機飛行における高い制御精度を示した。
• 新しい報酬設計による収束速度の向上のおかげで、トレーニング時間はほぼ9時間から50分未満に10倍短縮された。
• RE+ALエージェントは、追従誤差と消費電力の両面でチューニング済みのPIDコントローラーを上回り、滑らかな制御信号を発生させた。
• 乗乗報酬の組み合わせは訓練のばらつきを一貫して低減させ、特にAcrobotのような困難な環境では局所最適解への陥落を回避するのを助けた。