[論文レビュー] Online Deep Reinforcement Learning for Autonomous UAV Navigation and Exploration of Outdoor Environments

Bruna G. Maciel-Pearson, Letizia Marchegiani+4 more|arXiv (Cornell University)|Dec 11, 2019

Robotics and Sensor-Based Localization参考文献 41被引用数 24

ひとこと要約

本稿では、RAWなRGB画像と局所的位置マップの二重入力を用いて、屋外環境における自律型UAVのナビゲーションおよび探索を目的とした拡張型デュアルディープQネットワーク（EDDQN）を提案する。本手法は、未確認の地形や極端な天候条件下でも、ベースラインのDQN、DDQN、DRQNモデルを上回るステップ効率および累積報酬を達成し、30分以内の飛行制限下でのシミュレーテッドドローン上でのリアルタイム実装に成功する。

ABSTRACT

With the rapidly growing expansion in the use of UAVs, the ability to autonomously navigate in varying environments and weather conditions remains a highly desirable but as-of-yet unsolved challenge. In this work, we use Deep Reinforcement Learning to continuously improve the learning and understanding of a UAV agent while exploring a partially observable environment, which simulates the challenges faced in a real-life scenario. Our innovative approach uses a double state-input strategy that combines the acquired knowledge from the raw image and a map containing positional information. This positional data aids the network understanding of where the UAV has been and how far it is from the target position, while the feature map from the current scene highlights cluttered areas that are to be avoided. Our approach is extensively tested using variants of Deep Q-Network adapted to cope with double state input data. Further, we demonstrate that by altering the reward and the Q-value function, the agent is capable of consistently outperforming the adapted Deep Q-Network, Double Deep Q- Network and Deep Recurrent Q-Network. Our results demonstrate that our proposed Extended Double Deep Q-Network (EDDQN) approach is capable of navigating through multiple unseen environments and under severe weather conditions.

研究の動機と目的

• 未知で動的な、悪条件の屋外環境における自律型UAVナビゲーションの課題に取り組むこと。特に、捜索救助（SAR）ミッションを想定する。
• 再トレーニングやドメイン固有のデータを必要とせず、森林、農地、サバンナなど未確認のドメイン間での一般化を向上させること。
• 再帰的ネットワークを軽量な順方向アーキテクチャに置き換えることで、計算負荷を低減し、オンボードデプロイメントを可能にすること。
• 視覚的認識と位置記憶を統合することで、障害物回避および最短経路計画を向上させ、ナビゲーション効率を高めること。
• オフライン再トレーニングを必要とせず、複数回の飛行にわたる継続的オンライン学習により性能を向上させること。

提案手法

• EDDQNエージェントは、UAVのカメラから得られるRAWなRGB画像（84×84）と、位置履歴および障害物位置を符号化した100×100の局所地図の二重状態入力を使用する。
• ネットワークアーキテクチャは、視覚的入力と地図入力の処理に別々のストリームヘッドを備え、その後共通のQ値ヘッドに統合する、ダブルディープQネットワーク（DDQN）の拡張版である。
• 未訪問領域の訪問を優遇する報酬形状関数を新たに設計し、重複するステップと衝突に対するペナルティを課す。
• 過大評価バイアスを低減し、トレーニング中のポリシー安定性を向上させるために、二重Q学習機構を用いてQ値関数を最適化する。
• 経験リプレイとターゲットネットワークの更新を用いたオンライン学習により、複数回の飛行および複数の環境にわたる継続的適応を可能にする。
• カメラの内部パrameterや真値データに依存しないため、カメラ解像度やペイロードにかかわらず、多様なUAVプラットフォームへのデプロイが可能である。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを必要とせず、森林、農地、サバンナなどの未確認の屋外環境に一般化できるか？
• RQ2 RAWな視覚入力と局所地図を統合することで、部分観測環境におけるナビゲーション性能が向上し、ステップ数が減少するか？
• RQ3 悪天候条件下でも、標準的なDQN、DDQN、DRQNモデルと比較して、累積報酬および経路効率の面でEDDQNが優れているか？
• RQ4 DRQNなどの再帰的モデルと比較して、二重入力アーキテクチャが計算負荷をどの程度低減するか？オンボードデプロイメントを可能にするか？
• RQ5 視界内を動く動物などの動的要因を含む環境でも、エージェントは高い性能を維持できるか？

主な発見

• 未確認の森林環境において、雪や霧がひどい状況下でも、EDDQNは1エピソード平均7.5ステップを達成し、DRQN*100（8.2ステップ）とDQN*（7.35ステップ）を上回るステップ効率を示した。
• 動く動物がいるサバンナ環境では、EDDQNは障害物衝突率0%を維持し、平均ミッション時間13.34分を達成した。一方、DRQN*1000は完全に失敗した。
• テストVにおいて、EDDQNはDRQN*100（0.2573）よりも高い平均累積報酬（0.5079）を達成し、再訪問よりも探索を好む傾向が強まった。
• 特徴入力サイズを28,224（84×84×4）から7,156（84×84 + 100）に低減し、計算負荷を顕著に低下させ、リアルタイムのオンボード推論を可能にした。
• すべての8つのテストシナリオ（天候状況の変動や未確認ドメインを含む）において、性能の低下なしに一貫したパフォーマンスを示した。
• EDDQNは平均して30分以内にミッションを完了し、商用ドローンのバッテリー制限を満たした。