[論文レビュー] Learning Deployable Navigation Policies at Kilometer Scale from a Single Traversal

Jake Bruce, Niko Sünderhauf+3 more|arXiv (Cornell University)|Jul 11, 2018

Robotic Path Planning Algorithms参考文献 32被引用数 24

ひとこと要約

本論文では、現実世界のデータを1回のカバレッジ走査のみを用いて、実装可能で目的指向のナビゲーション方策を訓練する手法を提示する。視覚埋め込みを事前に計算し、特徴空間における効率的な確率的データ拡張を適用することで、一般のデスクトップ上で1秒間に20,000件以上の遷移を処理する訓練が可能となり、微調整なしに2kmにわたる多様な環境で実機ロボットへのゼロショットデプロイが達成された。

ABSTRACT

Model-free reinforcement learning has recently been shown to be effective at learning navigation policies from complex image input. However, these algorithms tend to require large amounts of interaction with the environment, which can be prohibitively costly to obtain on robots in the real world. We present an approach for efficiently learning goal-directed navigation policies on a mobile robot, from only a single coverage traversal of recorded data. The navigation agent learns an effective policy over a diverse action space in a large heterogeneous environment consisting of more than 2km of travel, through buildings and outdoor regions that collectively exhibit large variations in visual appearance, self-similarity, and connectivity. We compare pretrained visual encoders that enable precomputation of visual embeddings to achieve a throughput of tens of thousands of transitions per second at training time on a commodity desktop computer, allowing agents to learn from millions of trajectories of experience in a matter of hours. We propose multiple forms of computationally efficient stochastic augmentation to enable the learned policy to generalise beyond these precomputed embeddings, and demonstrate successful deployment of the learned policy on the real robot without fine tuning, despite environmental appearance differences at test time. The dataset and code required to reproduce these results and apply the technique to other datasets and robots is made publicly available at rl-navigation.github.io/deployable.

研究の動機と目的

• 大規模で複雑な環境におけるナビゲーション方策の訓練に必要な現実世界データの要件を低減すること。
• 実際のロボットの走査データを1回のみ使用して、効率的かつ高スループットな強化学習訓練を可能にすること。
• 訓練時とテスト時の視覚的および視点的差異が存在するにもかかわらず、微調整なしに訓練済み方策を実機ロボットにデプロイできるようにすること。
• データセットとコードを公開して再現性と広範な応用を促進すること。

提案手法

• 事前学習済みの画像エンコーダーを用いて、1回のロボット走査から視覚埋め込みを事前に計算し、高速な推論と高スループットの訓練を可能にする。
• 特徴空間におけるオンザフライの確率的拡張を適用し、ランダムなフレーム選択、画像回転、ノイズ注入を含め、多様な視覚的状態をシミュレートする。
• 訓練中にナビゲーショングラフのカバレッジがバランスされるように、カリキュラム学習戦略を採用する。
• ゴールまでの距離に基づく密度の高い報酬設計を用いて、A3Cを用いたモデルフリー強化学習エージェントを訓練する。
• ナビゲーション状態を定義するために、1メートル間隔のノードを用いたグラフベースの環境表現を活用する。
• グローバルおよびローカル特徴に相関のあるおよび相関のないノイズを適用し、知覚的ばらつきをシミュレートし、耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多数の現実世界での相互作用を必要とせず、1回の現実世界走査からのみナビゲーション方策を成功裏に訓練できるか？
• RQ2 事前計算された視覚特徴と効率的なデータ拡張を用いて、一般ハードウェア上で高スループットの訓練を達成できるか？
• RQ3 訓練データとは異なる視覚的および視点的差異が存在するにもかかわらず、微調整なしに方策が実世界のデプロイに一般化できるか？
• RQ4 経路効率と成功確率の観点から、仮想エージェントと比較して、デプロイされた方策のパフォーマンスはどの程度か？

主な発見

• 本手法は、一般のデスクトップ上で1秒間に20,000件以上の遷移を処理する訓練を達成し、数時間で数百万件の訓練遷移を処理可能となった。
• 訓練済み方策は、微調整なしに、屋内・屋外を含む2kmにわたる多様な環境をナビゲートし、ゴール画像に到達した。
• デプロイされた経路の平均長は最適経路の2.42倍であったが、これは仮想エージェント（1.14倍）と比較して妥当な範囲内であった。
• 照明の変化、影、視点の変化といった、未確認の視覚的条件に対しても、方策は効果的に一般化され、実世界のテストシナリオで成功したナビゲーションを実現した。
• 本手法は、先行研究に比べて現実世界におけるスケーラビリティに優れ、1回の走査からのキロメートルスケールのナビゲーションを可能にした。
• データセットとコードは、再現性と再利用を目的として、rl-navigation.github.io/deployable で公開された。