[論文レビュー] A Lifelong Learning Approach to Mobile Robot Navigation

Bo Liu, Xuesu Xiao+1 more|arXiv (Cornell University)|Jul 28, 2020

Robotic Path Planning Algorithms参考文献 35被引用数 8

ひとこと要約

本論文では、1つの環境において経験を通じて継続的にナビゲーション性能を向上させながら、以前に遭遇した環境のスキルを保持できる自己教師付きフレームワークであるLifelong Learning for Navigation (LLfN) を提案する。この手法は、ヒューリスティックスコア関数を用いて特定された部分最適な行動に基づいてトレーニングされる補完的ポリシーを用い、継続的学習を実現するとともに、深刻な忘却を回避する。本手法は計算リソースが限られた物理的ロボット上で完全に実装されており、逐次学習を上回り、個々のモデルと同等の効率性を達成している。

ABSTRACT

This paper presents a self-improving lifelong learning framework for a mobile robot navigating in different environments. Classical static navigation methods require environment-specific in-situ system adjustment, e.g. from human experts, or may repeat their mistakes regardless of how many times they have navigated in the same environment. Having the potential to improve with experience, learning-based navigation is highly dependent on access to training resources, e.g. sufficient memory and fast computation, and is prone to forgetting previously learned capability, especially when facing different environments. In this work, we propose Lifelong Learning for Navigation (LLfN) which (1) improves a mobile robot's navigation behavior purely based on its own experience, and (2) retains the robot's capability to navigate in previous environments after learning in new ones. LLfN is implemented and tested entirely onboard a physical robot with a limited memory and computation budget.

研究の動機と目的

• 経験に伴い改善できないか、新しい環境に適応できない古典的な静的ナビゲーションシステムの限界を解消すること。
• 異なる環境に順次移行する際の学習ベースのナビゲーションにおける深刻な忘却を克服すること。
• 人間のデモンストレーションやオフボード計算を必要とせず、ロボットが生成する経験を通じてナビゲーション性能を向上させる自己教師付きの生涯学習フレームワークを開発すること。
• 限られたメモリと処理能力というリアルタイム制約下で、物理的ロボット上でフレームワークを実装・検証すること。

提案手法

• 経験に伴い改善しない静的サンプリングベースのモデル予測制御ポリシー（DWA）でフレームワークを初期化する。
• 移動時間と障害物への接近度に基づくヒューリスティックスコア関数を用いて、部分最適な行動を同定する。
• 過去の経験バッファを用いてオンラインで補完的ポリシーをトレーニングし、類似した状況で良好な行動が取られたケースを優先する。
• 学習プロセスは自己教師付きである：人間のデモンストレーションや報酬形状の調整は使用せず、ロボットは自らの失敗から学ぶ。
• 経験リプレイと選択的ファインチューニングにより、過去の環境でのパフォーマンスを維持することで、後向きの転送を保証する。
• システム全体をロボットのオンボードCPUとメモリのみを用いて実装し、1環境あたり2分未塔のトレーニング時間で実行された。

実験結果

リサーチクエスチョン

• RQ1 人間の干渉や外部報酬なしに、移動ロボットが時間経過とともにナビゲーション性能を自己改善できるか？
• RQ2 学習ベースのナビゲーションシステムが、複数の異なる環境を順次経験する際に、深刻な忘却を回避できるか？
• RQ3 計算リソースが限られた条件下で、ロボットが自らの経験を活用してリアルタイムにナビゲーションポリシーを最適化できる程度はどの程度か？
• RQ4 生涯学習フレームワークのパフォーマンスは、逐次学習と個別環境用に訓練された個々のモデルと比べてどの程度か？

主な発見

• 環境1ではLLfNが平均28.32 ± 1.85秒のナビゲーション時間を達成し、逐次学習モデル（39.11 ± 6.45 s）を上回り、個別モデル（30.17 ± 0.97 s）と同等の性能を示した。
• 環境2ではLLfNが平均19.98 ± 1.07秒にまで短縮され、逐次学習モデル（49.41 ± 13.94 s）を著しく上回り、個別モデル（23.41 ± 0.66 s）と同等の性能を示した。
• 環境3ではLLfNが21.80 ± 1.51秒を達成し、個別モデル（21.12 ± 1.17 s）と同等の性能であり、逐次学習モデル（21.12 ± 1.17 s）よりも顕著に優れていた。
• LLfNは強力な後向き転送を示し、環境1および環境2で個別モデルを上回るパフォーマンスを示しており、多様な経験からの一般化能力の向上を示唆している。
• すべての環境で衝突は0回、最小限のリカバリ行動（0/0）が観測され、環境1ではすべての手法の中で最小の標準偏差を示した。
• オンボード計算のみを用いても、LLfNは1環境あたり2分未塔でトレーニングを完了し、リソース制約のあるハードウェアでもリアルタイム実行が可能であることを確認した。