[論文レビュー] Learning Navigation Behaviors End to End.

Hao-Tien Lewis Chiang, Aleksandra Faust+2 more|arXiv (Cornell University)|Sep 26, 2018

Robotic Path Planning Algorithms参考文献 25被引用数 14

ひとこと要約

この論文は、報酬関数とニューラルネットワークアーキテクチャを同時に最適化する進化的強化学習フレームワークであるAutoRLを用いて、ポイントツーポイントおよびパスフォローリングナビゲーション方策のエンド・ツー・エンド学習を提示する。得られた方策は、新しい環境や移動障害物に対しても一般化し、成功確率でベースラインを23%および26%上回り、災害的忘却を示さず、センサーやアクチュエータのノイズに対してもロバストである。

ABSTRACT

We learn end-to-end point-to-point and path-following navigation behaviors that avoid moving obstacles. These policies receive noisy lidar observations and output robot linear and angular velocities. The policies are trained in small, static environments with AutoRL, an evolutionary automation layer around Reinforcement Learning (RL) that searches for a deep RL reward and neural network architecture with large-scale hyper-parameter optimization. AutoRL first finds a reward that maximizes task completion, and then finds a neural network architecture that maximizes the cumulative of the found reward. Empirical evaluations, both in simulation and on-robot, show that AutoRL policies do not suffer from the catastrophic forgetfulness that plagues many other deep reinforcement learning algorithms, generalize to new environments and moving obstacles, are robust to sensor, actuator, and localization noise, and can serve as robust building blocks for larger navigation tasks. Our path-following and point-to-point policies are respectively 23% and 26% more successful than comparison methods across new environments. Video at: this https URL

研究の動機と目的

• ノイズの多いLiDAR入力を用いて、動的障害物を確実に回避するエンド・ツー・エンドナビゲーション方策の開発。
• 多様な環境における安定な方策学習を可能にすることで、深層強化学習における災害的忘却を解消すること。
• 静的訓練設定を超えて、未観測の環境および動的障害物への一般化を向上させること。
• 現実世界のセンサーやアクチュエータのノイズ下でも頑健なナビゲーションビルディングブロックを構築すること。

提案手法

• 深層強化学習における大規模なハイパーパramータ最適化を実行する進化的自動化レイヤーであるAutoRLを採用。
• まず、AutoRLを用いて静的環境でタスク完了を最大化する報酬関数を探索。
• 次に、見つかった報酬関数の下で累積報酬を最大化するニューラルネットワークアーキテクチャをAutoRLで同定。
• ノイズのあるLiDAR観測と、ロボット制御のための線形速度および角速度出力を用いて、方策をエンド・ツー・エンドで訓練。
• シミュレーションおよび実機デプロイメントの両方で方策を評価し、ロバスト性と一般化能力を検証。
• 同じ訓練済み方策を、新しい未観測環境および動的障害物シナリオに適用し、転送性をテスト。

実験結果

リサーチクエスチョン

• RQ1 AutoRLを介して学習されたエンド・ツー・エンドナビゲーション方策は、微調整なしに新しい未観測環境に一般化可能か？
• RQ2 AutoRLは、ナビゲーションタスクにおける深層強化学習の災害的忘却をどのように軽減するか？
• RQ3 学習済み方策は、センサー、アクチュエータ、およびローカライゼーションのノイズ下でもどの程度ロバストであるか？
• RQ4 動的障害物を伴う環境において、ベースライン手法と比較して方策はどのように性能を発揮するか？
• RQ5 方策は、上位レベルのナビゲーションタスクの構成要因として信頼できるコンponentsとして機能可能か？

主な発見

• AutoRLで訓練された方策は、パスフォローリングタスクにおいて、新しい環境で比較手法よりも23%高い成功確率を達成した。
• ポイントツーポイントナビゲーションにおいて、新しい環境でベースラインより26%高い成功確率を達成した。
• 方策はセンサー、アクチュエータ、ローカライゼーションのノイズに対して、性能の低下を示さず、ロバストであった。
• 災害的忘却を示さず、多様な訓練および評価設定において性能を維持した。
• 競合手法と比較して、動的障害物および未観測環境への一般化が著しく強固であった。
• 実機評価により、方策の実世界での実用性およびデプロイメントにおける安定性が確認された。