[論文レビュー] Broadly-Exploring, Local-Policy Trees for Long-Horizon Task Planning

Brian Ichter, Pierre Sermanet+1 more|arXiv (Cornell University)|Oct 13, 2020

AI-based Problem Solving and Planning被引用数 2

ひとこと要約

BELTは、RRTにインspiredされた木探索と、タスクに条件付けられた学習済み局所ポリシーを組み合わせたハイブリッド計画フレームワークを提案する。これにより、高次元で複雑な環境における長時間スパンの順序的タスク計画が可能になる。時間的延長のためのタスクに条件付けられたダイナミクスモデルを統合することで、長時間スパンにわたり堅牢かつサンプル効率の良い計画が実現され、困難な状況下でも、完全に学習ベースの手法や古典的計画手法を上回る性能を発揮する。

ABSTRACT

Long-horizon planning in realistic environments requires the ability to reason over sequential tasks in high-dimensional state spaces with complex dynamics. Classical motion planning algorithms, such as rapidly-exploring random trees, are capable of efficiently exploring large state spaces and computing long-horizon, sequential plans. However, these algorithms are generally challenged with complex, stochastic, and high-dimensional state spaces as well as in the presence of narrow passages, which naturally emerge in tasks that interact with the environment. Machine learning offers a promising solution for its ability to learn general policies that can handle complex interactions and high-dimensional observations. However, these policies are generally limited in horizon length. Our approach, Broadly-Exploring, Local-policy Trees (BELT), merges these two approaches to leverage the strengths of both through a task-conditioned, model-based tree search. BELT uses an RRT-inspired tree search to efficiently explore the state space. Locally, the exploration is guided by a task-conditioned, learned policy capable of performing general short-horizon tasks. This task space can be quite general and abstract; its only requirements are to be sampleable and to well-cover the space of useful tasks. This search is aided by a task-conditioned model that temporally extends dynamics propagation to allow long-horizon search and sequential reasoning over tasks. BELT is demonstrated experimentally to be able to plan long-horizon, sequential trajectories with a goal conditioned policy and generate plans that are robust.

研究の動機と目的

• 実世界のロボットタスクに共通する高次元で確率的かつ複雑な状態空間における長時間スパン計画の課題に対処すること。
• RRTのような古典的モーションプランニングアルゴリズムが狭い通路や複雑なダイナミクスを扱う際の限界を克服すること。
• 学習済みポリシーの一般化能力を活用すると同時に、木ベースの探索の効率性を維持すること。
• ダイナミクス伝播のモデルベース拡張を通じて、抽象的で高次元のタスクに対する順序的推論を可能にすること。
• サンプル効率性と長時間スパンの軌道生成を両立したスケーラブルで堅牢な計画フレームワークを開発すること。

提案手法

• 高次元で複雑な環境でもカバー範囲を確保できるように、広範囲にわたる状態空間探索を可能にするRRTにインスパイアされた木探索を採用する。
• 局所的探索を効果的に行うために、サンプリングされた状態の周辺をガイドするタスクに条件付けられた学習済みポリシーを用いる。
• 状態遷移を長時間スパンにわたり伝播させるためのタスクに条件付けられたダイナミクスモデルを導入し、順序的推論を支援する。
• 多様な長時間スパンのタスクに一般化できるように、抽象的でサンプリング可能なタスク埋め込みにポリシーとダイナミクスモデルを条件づける。
• 学習済みポリシーとモデルを木の拡張プロセスに統合し、効率的な探索と情報に基づいた局所的計画の両方を可能にする。
• グローバルな木探索が有望な経路を特定し、局所的ポリシーが軌道セグメントを精緻化する階層的計画戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 木ベースの探索と学習済み局所ポリシーを組み合わせたハイブリッドアプローチは、高次元で複雑な環境において、長時間スパンの計画を堅牢に実現できるか？
• RQ2 タスクに条件付けられたダイナミクスモデルは、短時間スパンのポリシーのロールアウトをどの程度効果的に長時間スパンに延長でき、長時間軌道における一貫性のある順序的推論を可能にできるか？
• RQ3 固定または低レベルのアクション空間と比較して、サンプリング可能な抽象的タスク空間を用いることで、一般化能力と計画効率はどの程度向上するか？
• RQ4 狭い通路や複雑なダイナミクスを有する環境において、BELTは古典的RRTがしばしば失敗する状況でも性能を発揮するか？
• RQ5 モデルベースの木探索に学習済みポリシーを統合することで、サンプル効率性を維持しながら長時間スパン計画を実現できるか？

主な発見

• BELTは、複雑なダイナミクスを有する高次元環境において、長時間スパンかつ順序的な軌道を生成でき、困難な状態空間構造に対しても堅牢であることが示された。
• タスクに条件付けられたダイナミクスモデルの統合により、ポリシーのロールアウトが効果的に時間的に延長され、長時間スパンにわたる一貫性のある順序的推論が可能になった。
• サンプリング可能な抽象的タスク空間の使用により、タスク固有の再トレーニングを必要とせず、多様なタスクに一般化できるようになった。
• BELTは、長時間スパンタスクにおける成功率とサンプル効率の両面で、純粋なRRTベース手法や完全にエンドツーエンドの学習ベース計画手法を上回った。
• 標準的なRRTが十分な探索ができないとしばしば失敗するような、狭い通路を有する環境でも、BELTは信頼性の高い計画を達成した。
• 実験結果から、広範囲の木探索と局所的ポリシーのガイドによる統合が、収束速度の向上と高品質な計画の達成に寄与することが確認された。