[論文レビュー] Obstacle Avoidance and Navigation Utilizing Reinforcement Learning with Reward Shaping

Daniel Zhang, Colleen P. Bailey|arXiv (Cornell University)|Mar 28, 2020

Reinforcement Learning in Robotics参考文献 13被引用数 4

ひとこと要約

本稿では、無人地面車両（UGV）における障害物回避およびナビゲーションのため、リャプノフに基づく報酬形状技術を用いた強化学習の高速化手法として、拡張されたディープデターミニスティックポリシー勾配（DDPG）およびプロキシマルポリシーオプティマイゼーション（PPO）アルゴリズムを提案する。報酬に安定性を考慮した項を追加することで収束を加速し、Turtlebot 3 Burger®を用いたGazeboシミュレーションにおいて、平均報酬が向上し、収束速度も向上している。

ABSTRACT

In this paper, we investigate the obstacle avoidance and navigation problem in the robotic control area. For solving such a problem, we propose revised Deep Deterministic Policy Gradient (DDPG) and Proximal Policy Optimization algorithms with an improved reward shaping technique. We compare the performances between the original DDPG and PPO with the revised version of both on simulations with a real mobile robot and demonstrate that the proposed algorithms achieve better results.

研究の動機と目的

• 無人地面車両（UGV）の複雑で現実的である環境における障害物回避およびナビゲーションの課題に取り組む。
• 多様な環境に一般化に失敗する伝統的なSLAMベースの手法の限界を克服する。
• 移動ロボティクスにおける連続的制御タスクの強化学習（RL）におけるサンプル効率および収束速度を向上させる。
• リャプノフ安定性に着想を得た報酬形状技術が、DDPGおよびPPOの性能向上に与える有効性を実ロボットプラットフォームで評価する。

提案手法

• リャプノフ安定性理論に基づく報酬形状技術を実装し、$ R^{lyap}(s_{t+1},a_{t+1}) = R(s_t,a_t) + \eta(\gamma R(s_{t+1},a_{t+1}) - R(s_t,a_t)) $ として定義する。この手法により、ポリシー学習を導く。
• Criticの更新において、時系列差分（TD）誤差に形状された報酬を組み込むことで、DDPGに報酬形状を統合する。
• PPOにおいては、アドバンテージ関数推定器にリャプノフに基づく報酬信号を組み込み、$ \hat{A}_t $ を調整する。
• Gazebo-ROS-Turtlebot 3 Burger® シミュレーションプラットフォームを用い、報酬形状を適用する・しない両方の条件で、DDPGおよびPPOの学習と評価を実施する。
• 両アルゴリズムに深層ニューラルネットワークを用いたアクター・クリティックフレームワークを採用し、学習率0.0003、バッチサイズ32でAdam最適化手法を適用する。
• 状態を24個のLiDAR読み取り値を含む26次元のベクトルとして表現し、連続的空間での行動を線形速度および角速度の制御に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 提案されたリャプノフに基づく報酬形状技術は、UGVナビゲーションタスクにおけるDDPGおよびPPOの収束速度および最終的性能を向上させるか？
• RQ2 報酬形状を適用する・しない条件下で、障害物回避タスクにDDPGおよびPPOを適用した際、安定性、収束速度、累積報酬の平均値の観点から、両者の性能を比較するとどうなるか？
• RQ3 報酬形状の統合により、複雑で現実に近いロボット環境において、より強固で効率的なポリシーが得られるか？
• RQ4 報酬形状技術は、移動ロボットの連続的制御RLにおける訓練の不安定性をどの程度軽減し、サンプル効率を向上させるか？

主な発見

• PPOは収束速度および最終的性能の両面でDDPGを上回り、報酬形状を適用した場合、平均累積報酬が-323.59と高く、DDPGの-477.06を上回っている。
• 報酬形状の適用により性能が顕著に向上した：DDPGの平均報酬は形状なしの-710.56から形状ありの-477.06に改善され、PPOは-679.43から-323.59に向上した。
• PPOの形状ありの場合、最小報酬が-155.06にまで上昇し、深刻なペナルティを受けるエピソードが減少しており、より一貫したポリシー学習が実現していることが示唆された。
• DDPGの形状ありでは最大報酬が-177.65に達し、ベースラインの-360.87に比べ顕著に向上しており、ポリシーの強靭性が向上していることを示している。
• 報酬形状技術により収束が早くなったことが、DDPGおよびPPOの両方の平均報酬曲線の早期安定化によって裏付けられた。
• 提案手法はリャプノフ安定性理論に基づく理論的基盤を有するため、最適性および収束保証を維持しており、偏りのない最適ポリシーを保証している。