[論文レビュー] Learning to Seek: Autonomous Source Seeking with Deep Reinforcement Learning Onboard a Nano Drone Microcontroller

Bardienus P. Duisterhof, Srivatsan Krishnan+6 more|arXiv (Cornell University)|Sep 25, 2019

Malaria Research and Control参考文献 29被引用数 20

ひとこと要約

本論文は、低消費電力のCortex-M4マイコンのみを用いて、ナノ・クアッドコpter上でエンドツーエンドの深層強化学習（DRL）ポリシーを実装する軽量な手法を提示する。リソースに配慮した観測空間と超小型ニューラルネットワークを設計することで、複雑な現実世界の環境において94％の成功を達成し、先行する学習ベースの手法と比較して70％高い効率性と3倍低い消費電力で実現した。

ABSTRACT

We present fully autonomous source seeking onboard a highly constrained nano quadcopter, by contributing application-specific system and observation feature design to enable inference of a deep-RL policy onboard a nano quadcopter. Our deep-RL algorithm finds a high-performance solution to a challenging problem, even in presence of high noise levels and generalizes across real and simulation environments with different obstacle configurations. We verify our approach with simulation and in-field testing on a Bitcraze CrazyFlie using only the cheap and ubiquitous Cortex-M4 microcontroller unit. The results show that by end-to-end application-specific system design, our contribution consumes almost three times less additional power, as compared to competing learning-based navigation approach onboard a nano quadcopter. Thanks to our observation space, which we carefully design within the resource constraints, our solution achieves a 94% success rate in cluttered and randomized test environments, as compared to the previously achieved 80%. We also compare our strategy to a simple finite state machine (FSM), geared towards efficient exploration, and demonstrate that our policy is more robust and resilient at obstacle avoidance as well as up to 70% more efficient in source seeking. To this end, we contribute a cheap and lightweight end-to-end tiny robot learning (tinyRL) solution, running onboard a nano quadcopter, that proves to be robust and efficient in a challenging task using limited sensory input.

研究の動機と目的

• 極度のハードウェア制約下において、ナノ・クアッドコpter上で完全に自律的かつリアルタイムの光源探索を可能にすること。
• 既存のナノドローン用学習ベースのナビゲーションシステムと比較して、消費電力と計算負荷を低減すること。
• 最小限のセンサ入力と事前の環境知識なしに動作する、軽量で汎用性の高いDRLポリシーを設計すること。
• GPS不可で動的な環境において、障害物回避と効率的な光源探索を実現すること。単一の光センサのみを用いる。
• 微調整や環境特化の再トレーニングなしに、シミュレーションから実世界へのゼロショット転送を実証すること。

提案手法

• アプリケーション固有の観測特徴を備えたカスタムPOMDP定式化：正規化された光勾配とフィルタ処理済み光強度。
• Cortex-M4マイコン上で100 Hzで実行可能な超小型ディープニューラルネットワークを実装（2層の隠れ層）。
• ノイズ低減と勾配推定の向上を目的に、原始的な光センサ読み取り値にローパスフィルタを適用。
• ノイズ耐性と姿勢変化への耐性向上を目的に、入力特徴を正規化（s₁：勾配、s₂：フィルタ処理済み強度）として定式化。
• 障害物配置と光源位置をランダム化したシミュレーション環境（Air Learning）でDRLポリシーをトレーニング。
• 微調整や環境特化の再トレーニングなしに、シミュレーションから実世界への転送を可能にした。

実験結果

リサーチクエスチョン

• RQ1 Cortex-M4マイコンと最小限のセンサのみを搭載したナノ・クアッドコpterに、深層強化学習ポリシーを効率的にデプロイ可能か？
• RQ2 DRLベースの光源探索と有限状態マシン（FSM）とを比較した場合、障害物回避と光源探索効率の面でどの程度性能が異なるか？
• RQ3 トレーニングシミュレーションの外の未確認の現実世界環境において、システムの一般化性能はどの程度達成されるか？
• RQ4 既存の学習ベースのナビゲーションシステムと比較して、DRLポリシーをナノドローンにデプロイする際の消費電力とエネルギーオーバーヘッドはどの程度か？
• RQ5 独自に設計した観測空間の設計は、高ノイズと限られたセンサ入力下でも、信頼性の高い光源探索を可能にするか？

主な発見

• 提案されたDRLポリシーは、複雑な障害物環境を含む現実世界の飛行テストで94％の成功率を達成し、先行研究（シミュレーションで80％、複雑環境で30％）を大きく上回った。
• 有限状態マシンベースラインと比較して、光源探索効率が70％高いことが実証され、低・中・高密度の障害物環境でそれぞれ70％、55％、66％のミッション時間短縮が達成された。
• ポリシーは強力な障害物回避性能を示し、暗所に閉じ込められたりループ軌道に陥ることなく、FSMベースラインと比較してばらつきが少なく、しばしば閉じ込められる問題を回避した。
• 追加消費電力はわずか0.71Wにとどまり、競合する学習ベースのナビゲーションシステムと比較して3倍低い追加消費電力となった。
• センサとMCUの追加にもかかわらず、飛行時間は7分6.3秒から6分30.8秒に35.5秒短縮されたことから、エネルギーオーバーヘッドは最小限に抑えられた。
• 正規化された光勾配とローパスフィルタ処理済み強度を用いた観測空間設計が、高ノイズおよび動的飛行条件下でも信頼性の高い勾配追跡を可能にしたことが判明した。