[論文レビュー] Learning to Plan via Neural Exploration-Exploitation Trees.

Binghong Chen, Bo Dai+1 more|arXiv (Cornell University)|Feb 28, 2019

Robotic Path Planning Algorithms参考文献 40被引用数 8

ひとこと要約

この論文では、過去の経験を学習したニューラル事前分布を用いて、高次元連続空間における効率的な探索・活用のトレードオフをガイドする、メタパスプランニングアルゴリズムであるNeural Exploration-Exploitation Trees (NEXT) を提案する。UCBに基づく木探索とこの事前分布を統合することで、NEXTはサンプルの複雑さを低減し、検索木のサイズを著しく小さくすることで、ベンチマークタスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Sampling-based algorithms such as RRT and its variants are powerful tools for path planning problems in high-dimensional continuous state and action spaces. While these algorithms perform systematic exploration of the state space, they do not fully exploit past planning experiences from similar environments. In this paper, we design a meta path planning algorithm, called \emph{Neural Exploration-Exploitation Trees} (NEXT), which can exploit past experience to drastically reduce the sample requirement for solving new path planning problems. More specifically, NEXT contains a novel neural architecture which can learn from experiences the dependency between task structures and promising path search directions. Then this learned prior is integrated with a UCB-type algorithm to achieve an online balance between \emph{exploration} and \emph{exploitation} when solving a new problem. Empirically, we show that NEXT can complete the planning tasks with very small searching trees and significantly outperforms previous state-of-the-arts on several benchmark problems.

研究の動機と目的

• RRTなどのサンプリングベースのプランナが高次元連続状態空間および行動空間で示す高いサンプル複雑さに対処すること。
• 類似した環境間で過去の計画経験を再利用し、学習を高速化すること。
• 学習済み事前分布を用いて探索と活用のバランスを取るメタプランニングアルゴリズムを開発すること。
• 新しいパスプランニング問題を解くために必要な探索木のサイズを低減すること。

提案手法

• 過去の経験から、タスク構造と有望なパス探索方向との依存関係を学習する新しいニューラルアーキテクチャの設計。
• UCB型の木探索アルゴリズムに学習済みニューラル事前分布を統合し、オンラインでの探索と活用のバランスを取ること。
• タスク固有の特徴に基づいて、探索木における好ましい拡張方向を予測する微分可能ニューラルポリシーの使用。
• 過去の計画タスクからのデモンストレーションまたは再プレイ経験を用いて、ニューラル事前分布をエンドツーエンドで訓練すること。
• UCB式の探索ボーナスとしてニューラル事前分布を適用し、より有望な領域への木の拡張をガイドすること。
• ノードが状態を表し、エッジが行動を表す階層的木構造を構築し、ニューラル事前分布がノード選択と拡張をガイドすること。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、類似した環境からの過去の計画経験を効果的に一般化し、新しいパスプランニングタスクにおけるサンプル効率を向上させることができるか？
• RQ2 学習済み事前分布をどのように木探索アルゴリズムに統合することで、リアルタイムでの探索と活用のバランスを取ることができるか？
• RQ3 ニューラル事前分布は、新しい計画問題を解くために必要な探索木のサイズをどの程度低減するか？
• RQ4 NEXTは、RRT や RRT* などの最先端のサンプリングベースのプランナと比較して、性能およびサンプル効率においてどの程度優れているか？

主な発見

• NEXTは、類似した環境からの学習済み経験を活用することで、新しいパスプランニング問題を解くために必要なサンプル数を顕著に削減する。
• NEXTが構築する探索木は、ベースライン手法と比較して顕著に小さく、サンプル効率の高さが示されている。
• NEXTは、高次元空間における複数のベンチマークパスプランニング問題で、以前の最先端アルゴリズムを上回る性能を発揮する。
• UCBベースの探索とニューラル事前分布の統合により、収束が速くなり、計画成功確率が向上する。