[論文レビュー] Visual Exploration and Energy-aware Path Planning via Reinforcement Learning

Amir Niaraki, Jeremy Roghair+1 more|arXiv (Cornell University)|Sep 26, 2019

Robotic Path Planning Algorithms参考文献 30被引用数 5

ひとこと要約

本稿では、自律型ドローンにおけるエネルギー効率の視覚的探索と経路計画のための強化学習ベースの手法を提案する。風による抗力のモデル化を適応的負の報酬として用いることで、物体検出の精度とバッテリー寿命の動的バランスを図る。シミュレーションにおいて、高風速下でも完全カバレッジ計画法に比べて最大4倍のターゲットを検出でき、2次元および3次元の飛行シナリオにおいて、経路効率とカバレッジの両面でベースライン手法を上回った。

ABSTRACT

Visual exploration and smart data collection via autonomous vehicles is an attractive topic in various disciplines. Disturbances like wind significantly influence both the power consumption of the flying robots and the performance of the camera. We propose a reinforcement learning approach which combines the effects of the power consumption and the object detection modules to develop a policy for object detection in large areas with limited battery life. The learning model enables dynamic learning of the negative rewards of each action based on the drag forces that is resulted by the motion of the flying robot with respect to the wind field. The algorithm is implemented in a near-real world simulation environment both for the planar motion and flight in different altitudes. The trained agent often performed a trade-off between detecting the objects with high accuracy and increasing the area coverage within its battery life. The developed exploration policy outperformed the complete coverage algorithm by minimizing the traveled path while finding the target objects. The performance of the algorithms under various wind fields was evaluated in planar and 3D motion. During an exploration task with sparsely distributed goals and within a UAV's battery life, the proposed architecture could detect more than twice the amount of goal objects compared to the coverage path planning algorithm in moderate wind field. In high wind intensities, the energy-aware algorithm could detect 4 times the amount of goal objects when compared to its complete coverage counterpart.

研究の動機と目的

• 大面積の視覚的探索における自律型ドローンのバッテリー寿命の制限に取り組む。
• エネルギー消費と物体検出性能を統合的な強化学習ポリシーに統合する。
• 風による抗力の力を動的報酬としてモデル化し、飛行中のエネルギー効率を向上させる。
• 移動距離とエネルギー消費を最小限に抑えながら、ターゲット検出を最大化する経路計画を最適化する。
• 2次元および3次元飛行環境におけるさまざまな風速条件下での性能を評価する。

提案手法

• 視覚的および環境的状態観測に基づいて行動を選択するエージェントを学習させるために、深層Qネットワーク（DQN）の強化学習フレームワークを用いる。
• 風による抗力は、風場に対する相対運動に基づき、動的負の報酬としてモデル化される。
• 状態空間には、位置、速度、風ベクトル、およびCNNベースの検出器からの物体検出信頼度が含まれる。
• 行動空間は、2次元および3次元の運動における速度および方向の離散的制御入力を含む。
• 報酬関数は、物体検出の正確性、経路効率、エネルギーコストを統合し、風速依存のペナルティを含む。
• 変動する風速とターゲット分布を想定した、ほぼリアルなシミュレーション環境で学習が実施される。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いることで、ドローン探索における物体検出の正確性とエネルギー効率のバランスをどのように達成できるか？
• RQ2 風による抗力を動的報酬としてモデル化することで、経路計画性能がどの程度向上するか？
• RQ3 本手法は、完全カバレッジ経路計画法と比較して、ターゲット検出とエネルギー消費の点でどの程度優れているか？
• RQ4 風速の強さが、エネルギー効率の良い探索ポリシーの性能に与える影響は何か？
• RQ5 2次元および3次元飛行において、異なる風場とターゲット分布に対してエージェントは一般化できるか？

主な発見

• 中程度の風速下では、本手法は完全カバレッジ経路計画アルゴリズムよりも2倍以上多くのターゲット物体を検出できた。
• 高風速下では、エネルギー効率の良いアルゴリズムが、カバレッジベースのベースラインに比べて4倍のターゲットを検出できた。
• エージェントは、カバレッジ面積とエネルギー効率の間で顕著なトレードオフを達成し、経路長を短縮しながらも高い検出正確性を維持した。
• 風速の変動にわたってもモデルのロバストネスを示し、適応的報酬設計によって性能低下を最小限に抑えた。
• シミュレーション結果から、報酬関数に風のダイナミクスを統合することで、長期的なエネルギー効率と検出収率が向上したことが確認された。
• 本手法は、2次元および3次元の運動シナリオにおいて、特にターゲットがスパarsely分布する状況で、ベースラインのカバレッジ戦略を上回った。