[論文レビュー] Neuroflight: Next Generation Flight Control Firmware

William R. Koch, Renato Mancuso+1 more|arXiv (Cornell University)|Jan 19, 2019

Robotic Path Planning Algorithms参考文献 23被引用数 25

ひとこと要約

Neuroflightは、四軸旋翼機および固定翼機用の最初のオープンソースでニューラルネットワークベースのフライト制御ファームウェareを提供し、従来のPID制御に代わって強化学習で訓練されたコントローラーを採用している。ARM Cortex-M7上で2kHzを超える制御周波数でも安定した高精度飛行—アーロバティクスを含む—を実現しており、組み込みシステムにおけるエンドツーエンドの神経飛行制御の実用的妥当性を示している。

ABSTRACT

Little innovation has been made to low-level attitude flight control used by uncrewed aerial vehicles (UAVs), which still predominantly uses the classical PID controller. In this work we introduce Neuroflight, the first open source neuro-flight controller firmware. We present our toolchain for training a neural network in simulation and compiling it to run on embedded hardware. Challenges faced jumping from simulation to reality are discussed along with our solutions. Our evaluation shows the neural network can execute at over 2.67kHz on an Arm Cortex-M7 processor and flight tests demonstrate a quadcopter running Neuroflight can achieve stable flight and execute aerobatic maneuvers.

研究の動機と目的

• 小型無人航空機の内側の姿勢制御ループにおいて、古典的なPID制御に代わる神経飛行制御ファームウェアを開発すること。
• 深層強化学習コントローラーのシミュレーションから実世界への適用ギャップを埋めるために、シミュレーションの忠実性と移植性を向上させること。
• 高リソース制限の組み込みマイコンに、訓練済みのニューラルネットワークを直接デプロイできることを実現すること。
• 訓練・コンパイル・デプロイのための包括的でオープンソースのツールチェーンを提供すること。
• 動的かつ不確実な環境においてPIDを上回る性能を発揮する次世代の飛行制御ファームウェアの基盤を構築すること。

提案手法

• GymFC-v1.5の改変版シミュレーション環境で、Proximal Policy Optimization (PPO) を用いて深層ニューラルネットワークを訓練し、生のセンサ入力から姿勢制御を学習する。
• シミュレーションの現実性を高めるために、センサノイズ、アクチュエータダイナミクス、環境的擾乱を含むカスタムシミュレーション環境（GymFC-v1.5）を設計し、シミュレーションから実世界への移行性を向上させる。
• 訓練済みのニューラルネットワークをCコードにコンパイルし、ARM Cortex-M7マイコンにデプロイするための包括的ツールチェーンを実装した。
• リアルタイム性能と安定性を確保するため、ReLU活性化関数と出力分布の制限（例：ベータ関数）を用いた軽量なニューラルネットワークアーキテクチャを採用した。
• 神経ネットワークを飛行制御ファームウェアに直接統合し、内側の制御ループにおけるPIDおよびモーターミキシング論理を置き換えた。
• 四軸旋翼機を用いた実機飛行テストを通じて、手動でチューニングされたPIDコントローラーと比較してコントローラーの性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 強化学習でシミュレーション内で訓練された深層ニューラルネットワークが、PIDに依存せずに実際のマイクロ-UAVで安定的かつ高精度な飛行を達成できるか？
• RQ2 神経飛行制御ファームウェアのシミュレーションから実世界への成功した移行を実現するためには、シミュレーション環境にどのような変更が必要か？
• RQ3 低消費電力の組み込みマイコン（例：ARM Cortex-M7）に、訓練済みのニューラルネットワークコントローラーを高制御周波数（2kHz以上）で直接デプロイすることは可能か？
• RQ4 アーロバティクスマニューバーにおける追従精度と動的入力への耐性という観点から、学習済みのニューラルネットワークコントローラーと手動でチューニングされたPIDコントローラーの性能はどのように比較されるか？
• RQ5 シミュレーションベースの訓練から実世界へのデプロイへの移行において、主な課題とその解決策は何か？

主な発見

• 神経ネットワークコントローラーは、ARM Cortex-M7マイコン上で2kHzを超えるリアルタイム実行を達成し、安定飛行に必要な厳密なタイミング要件を満たした。
• 飛行テストの結果、神経飛行コントローラーは安定飛行と、ロール、フィップ、スプリット・スのマニューバーを含む複雑なアーロバティクスマニューバーの成功実行を可能にした。
• 追従精度や動的入力への応答性という全評価指標において、ニューラルネットワークコントローラーは手動でチューニングされたPIDコントローラーを上回った。
• PIDとは異なり、ニューラルネットワークコントローラーは手動チューニングを一切必要とせず、Ziegler-Nichols法を用いて9つのゲインを調整するのに約30分を要した。
• 高忠実度のシミュレーション環境（GymFC-v1.5）を用いることで、シミュレーションと現実の間の性能ギャップが縮小された。この環境には、現実的なセンサノイズとアクチュエータダイナミクスが含まれていた。
• スプリット・スマニューバー中のピッチ軸では、オーバーシュートが著しく減少し、応答性が向上したため、ニューラルネットワークコントローラーの追従性能がPIDを上回った。