[論文レビュー] Energy-aware Goal Selection and Path Planning of UAV Systems via Reinforcement Learning

Amir Ehsan Niaraki Asli, Jeremy Roghair+1 more|arXiv (Cornell University)|Sep 26, 2019

Reinforcement Learning in Robotics参考文献 5被引用数 6

ひとこと要約

本稿では、風の影響を受ける環境下で、エネルギー効率と物体検出精度の動的バランスを図る、強化学習に基づくUAV用のエネルギー効率的目標選択および経路計画手法を提案する。抗力に起因するエネルギー消費をモデル化し、報酬関数に統合することで、完全カバレッジ法を上回る性能を発揮し、強風下でも最大4倍の物体を検出しつつ、経路長を最小限に抑える。

ABSTRACT

Visual exploration and smart data collection via autonomous vehicles is an attractive topic in various disciplines. Disturbances like wind significantly influence both the power consumption of the flying robots and the performance of the camera. We propose a reinforcement learning approach which combines the effects of the power consumption and the object detection modules to develop a policy for object detection in large areas with limited battery life. The learning model enables dynamic learning of the negative rewards of each action based on the drag forces that is resulted by the motion of the flying robot with respect to the wind field. The algorithm is implemented in a near-real world simulation environment both for the planar motion and flight in different altitudes. The trained agent often performed a trade-off between detecting the objects with high accuracy and increasing the area coverage within its battery life. The developed exploration policy outperformed the complete coverage algorithm by minimizing the traveled path while finding the target objects. The performance of the algorithms under various wind fields was evaluated in planar and 3D motion. During an exploration task with sparsely distributed goals and within a UAV's battery life, the proposed architecture could detect more than twice the amount of goal objects compared to the coverage path planning algorithm in moderate wind field. In high wind intensities, the energy-aware algorithm could detect 4 times the amount of goal objects when compared to its complete coverage counterpart.

研究の動機と目的

• 風の影響を受ける環境下でのUAVの視覚的探索におけるバッテリー駆動時間の制限に取り組むこと。
• 物体検出精度とエネルギー効率の両方を最適化する経路計画戦略を開発すること。
• 強化学習におけるリアルタイムの報酬形状の調整を通じて、風に起因する抗力に起因する力への動的適応を可能にすること。
• 完全カバレッジ法に比べ、物体検出率と経路効率の両面で優れた性能を発揮すること。

提案手法

• UAVエージェントがエネルギー消費と物体検出性能のバランスを取れるように学習させるため、深層強化学習フレームワークを用いる。
• 報酬関数には、UAVの風場に対する相対速度から算出される抗力に基づく負の報酬を組み込む。
• 計画的かつ3次元の飛行ダイナミクスをサポートする、ほぼ現実に近いシミュレーション環境でアルゴリズムを訓練する。
• エージェントは、経路長とエネルギー消費を最小限に抑えつつ、高い確率で目標が存在する場所を優先する方策を学習する。
• 風場の条件は、運動およびエネルギー消費に影響を与える動的環境的擾乱としてシミュレートされる。
• 探索タスク中に、カバレッジ領域、検出精度、バッテリー寿命のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 変動する風速条件下で、エネルギー消費を最小限に抑えつつ、散在する希少な目標を効率的に検出する方法は何か？
• RQ2 エネルギー制限のある環境下で、物体検出精度と経路効率を動的にバランスさせる強化学習方策は何か？
• RQ3 風に起因する抗力が、リアルタイムの経路計画におけるUAVのエネルギー消費と検出性能に与える影響は何か？
• RQ4 高風速下において、提案されたエネルギー効率的方策は完全カバレッジ法に比べて、物体検出においてどの程度優れているか？
• RQ5 エージェントは、バッテリー制限内で実行可能な飛行経路を維持しつつ、高価値の検出ターゲットを優先して学習できるか？

主な発見

• 中程度の風速下では、提案されたエネルギー効率的アルゴリズムが完全カバレッジ経路計画法よりも2倍以上多くの目標物体を検出した。
• 高風速下では、エネルギー効率的アプローチが完全カバレッジ法に比べて4倍の物体を検出した。
• 高い検出精度を維持しつつ、移動経路長が顕著に短縮された。
• リアルタイムの風に起因する抗力に基づく動的調整により、エネルギー効率と検出性能の両立に成功した。
• 強化学習モデルは、変動する風速下でも、2次元および3次元の飛行シナリオの両方で高い頑健性を示した。
• 抗力に基づくエネルギーペナルティを報酬関数に統合することで、より効率的かつ適応的な探索戦略が得られた。