[論文レビュー] Learning Navigation Behaviors End-to-End with AutoRL

Hao-Tien Lewis Chiang, Aleksandra Faust+2 more|arXiv (Cornell University)|Sep 26, 2018

Robotic Path Planning Algorithms参考文献 39被引用数 4

ひとこと要約

本論文では、エンドツーエンドナビゲーション方策のための報酬設計とニューラルネットワークアーキテクチャを同時に最適化する自動強化学習フレームワーク、AutoRLを提示する。小さな静的環境でシミュレーション上で訓練された結果、点対点およびパスフォローリング方策は、未観測の大規模な現実世界環境において、ベースラインと比較してそれぞれ23%および26%高い成功率を達成し、ノイズや動的障害物に対して高い頑健性を示した。

ABSTRACT

We learn end-to-end point-to-point and path-following navigation behaviors that avoid moving obstacles. These policies receive noisy lidar observations and output robot linear and angular velocities. The policies are trained in small, static environments with AutoRL, an evolutionary automation layer around Reinforcement Learning (RL) that searches for a deep RL reward and neural network architecture with large-scale hyper-parameter optimization. AutoRL first finds a reward that maximizes task completion, and then finds a neural network architecture that maximizes the cumulative of the found reward. Empirical evaluations, both in simulation and on-robot, show that AutoRL policies do not suffer from the catastrophic forgetfulness that plagues many other deep reinforcement learning algorithms, generalize to new environments and moving obstacles, are robust to sensor, actuator, and localization noise, and can serve as robust building blocks for larger navigation tasks. Our path-following and point-to-point policies are respectively 23% and 26% more successful than comparison methods across new environments. Video at: https://youtu.be/0UwkjpUEcbI

研究の動機と目的

• 多様な環境やセンサーノイズレベルに一般化できるスケーラブルで自動化されたエンドツーエンドナビゲーション方策の訓練手法を開発すること。
• ロボットナビゲーションにおける深層強化学習のスパarsity報酬と一般化性能の悪さの課題に対処するため、報酬設計とアーキテクチャ探索を自動化すること。
• センサーやアクチュエータ、局所化のノイズに対して頑健で、シミュレーションから現実世界への展開に効果的に適応できるナビゲーション方策を構築すること。
• 明示的な障害物速度情報や複雑な運動計画スタックを必要とせずに、静的および動的障害物を回避できる方策を実現すること。
• エキスパートが設計した報酬関数やネットワークアーキテクチャに代えて、大規模なハイパーパramータ最適化により、手動によるハイパーパramータチューニングを削減すること。

提案手法

• AutoRLは勾配フリーの進化的ハイパーパramータ最適化（例：CMA-ES）を用い、報酬関数とニューラルネットワークアーキテクチャを並列に探索する。
• この手法はまず、シミュレーションでのタスク完了を最大化するように形状された報酬関数を最適化し、その後報酬関数を固定して最適なニューラルネットワークアーキテクチャを探索する。
• 方策は、LiDAR観測と速度出力を用いた深層強化学習（DDPG）で訓練され、5 Hzで動作する。
• 報酬関数は学習可能な係数でパrameter化されており、ゴールまでの距離、障害物からのクリアランス、パスのずれといった項を含む。
• ニューラルネットワークアーキテクチャは層幅（例：P2P用に[50, 20, 10]）で定義され、AutoRLはこれらのハイパーパramータを探索して累積報酬を最大化する。
• 訓練中にノイズを注入して現実世界の状況をシミュレートする：センサーノイズ（σ_Lidar = 0.3 m）、アクチュエータノイズ（σ_Speed = 0.1 m/s、σ_Turning = 0.1 rad/s）、局所化ノイズ（σ_Localize = 0.1 m）。

実験結果

リサーチクエスチョン

• RQ1 自動化された手法が、報酬設計とニューラルネットワークアーキテクチャを同時に最適化することで、エンドツーエンドナビゲーション方策の一般化性能を向上させられるか？
• RQ2 AutoRLで訓練された方策は、動的障害物とセンサーノイズを伴う大規模で未観測の環境に、どの程度一般化できるか？
• RQ3 AutoRLは、シミュレーションおよび実ロボットデプロイメントにおいて、手動チューニングされたベースライン（例：DWA、APF、BC）と比較して、成功確率と頑健性で優れているか？
• RQ4 AutoRL方策は、ノイズレベルや環境の複雑さの変化に対しても、深刻な忘却を回避し、性能を維持できるか？
• RQ5 PRMで生成されたウェイポイントを用いたパスガイダンスの使用は、動的障害物を伴うパスフォローリングタスクでのパフォーマンスを向上させるか？

主な発見

• AutoRL方策は、3つの大規模で未観測の現実世界環境において、点対点ナビゲーションで26%、パスフォローリングタスクで23%高い成功率を達成した。
• 方策は、訓練環境の6.8倍から30.1倍も大きな環境に、微調整なしで頑健に一般化した。
• 実際のFetchロボットでは、80メートル以上のパスを走行し、動的環境でも衝突なしに障害物を回避した。
• センサーノイズ、アクチュエータノイズ、局所化ノイズに対して頑健であり、高ノイズ環境下でも性能に劣化がなかった。
• AutoRL方策は、シミュレーションおよび現実世界評価の両方で、手動チューニングされたDDPG、APF、DWA、および行動コーディングベースラインを上回った。
• この手法は深刻な忘却を回避し、多様な訓練および評価条件において高いパフォーマンスを維持した。