[論文レビュー] Deep Reinforcement Learning-based UAV Navigation and Control: A Soft Actor-Critic with Hindsight Experience Replay Approach

Myoung‐Hoon Lee, Jun Moon|arXiv (Cornell University)|Jun 2, 2021

Reinforcement Learning in Robotics参考文献 27被引用数 5

ひとこと要約

本論文は、UAVナビゲーションにおけるサンプル効率性と学習最適性を向上させるために、ソフトアクターシステム（SAC）と後向き経験再生（HER）を組み合わせた新規な深層強化学習アルゴリズム、SACHERを提案する。失敗した軌道からも後向きのゴールを用いて学習できるようにすることで、SACとDDPGに比べて収束が早く、目標到達成功率が著しく向上し、複雑な障害物環境において2,000エピソード中568の成功路線を達成した。

ABSTRACT

In this paper, we propose SACHER (soft actor-critic (SAC) with hindsight experience replay (HER)), which constitutes a class of deep reinforcement learning (DRL) algorithms. SAC is known as an off-policy model-free DRL algorithm based on the maximum entropy framework, which outperforms earlier DRL algorithms in terms of exploration, robustness and learning performance. However, in SAC, maximizing the entropy-augmented objective may degrade the optimality of learning outcomes. HER is known as a sample-efficient replay method that enhances the performance of off-policy DRL algorithms by allowing the agent to learn from both failures and successes. We apply HER to SAC and propose SACHER to improve the learning performance of SAC. More precisely, SACHER achieves the desired optimal outcomes faster and more accurately than SAC, since HER improves the sample efficiency of SAC. We apply SACHER to the navigation and control problem of unmanned aerial vehicles (UAVs), where SACHER generates the optimal navigation path of the UAV under various obstacles in operation. Specifically, we show the effectiveness of SACHER in terms of the tracking error and cumulative reward in UAV operation by comparing them with those of state-of-the-art DRL algorithms, SAC and DDPG. Note that SACHER in UAV navigation and control problems can be applied to arbitrary models of UAVs.

研究の動機と目的

• 高い探索性と頑健性を示すにもかかわらず、SACの目標到達における最適でない学習性能を是正すること。
• 後向き経験再生（HER）を活用することで、UAV制御における深層強化学習のサンプル効率性を向上させること。
• 正確なUAVモデルや環境の知識が不要な状態で、複雑で障害物が多数存在する環境においても、信頼性があり最適なUAVパス計画を可能にすること。
• SACの安定的でエントロピー最大化フレームワークを統合することで、連続制御タスクにおけるDDPGの不安定さと収束不良を是正すること。
• SACHERが多様な環境条件下でも正確で安定したナビゲーションパスを生成する有効性を検証すること。

提案手法

• SACHERは、ソフトアクターシステム（SAC）と後向き経験再生（HER）を統合し、リプレイバッファを初期ゴールを保存するように変更する。
• 訓練中、SACHERは各エピソード中に到達した状態から追加のゴールをサンプリングし、失敗した軌道を新しいゴールに対する成功と再評価する。
• アルゴリズムはスパarsなバイナリ報酬関数を用いるが、失敗した遷移に対して意味のある後向き報酬を割り当てることで、方策最適化を向上させる。
• SACHERはエントロピー最大化の目的関数を維持して探索性を確保するとともに、HERを用いて最終方策の最適性と収束速度を向上させる。
• SACのオフポリシー学習とリプレイバッファを適用するが、サンプル再利用を向上させるためにゴール条件付き経験再生を拡張する。
• ゴール条件付きリプレイメカニズムにより、成功エピソードと失敗エピソードの両方から学習可能となり、データ効率が著しく向上する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー最大化が最終的パフォーマンスを低下させる可能性がある連続制御タスクにおいて、HERはSACの最適性を向上させ得るか？
• RQ2 障害物がある環境下でのUAVナビゲーションにおいて、SACHERはSACやDDPGに比べてサンプル効率性と成功率で優れているか？
• RQ3 モデル固有のチューニングを必要とせずに、SACHERは異なるUAVモデルや環境設定に一般化可能か？
• RQ4 SACにHERを統合することで、DDPGベースのHERアプローチで観察される不安定性が是正されるか？
• RQ5 後向き学習は、複雑なUAVナビゲーションタスクにおいて収束をどれほど加速させ、最終的なパス精度をどれほど向上させるか？

主な発見

• SACHERは16個の障害物が存在する環境で2,000エピソード中568のナビゲーション成功路線を達成したのに対し、SACは33、DDPGは13にとどまった。
• SACHERの累積報酬は約-31に安定し、学習後も信頼性があり一貫性のあるパフォーマンスを示した。
• SACHERで制御されたヘキサコプターユーザーは、SACやDDPGで制御されたものとは異なり、着陸ゾーンに正常に到達し、障害物を回避した。
• SACHERが生成した最適パスと実際のUAV軌道との間の追従誤差は無視できるほど小さく、高いパス追従精度を示した。
• SACHERは、累積報酬が低い初期学習段階でも、滑らかで安定したUAV軌道を維持した。
• SACHERは環境設定の変化、例えば速度の上昇（v₁=8）や障害物数の増加（N=16）に対しても、効果的に一般化され、高い成功率を維持した。