[論文レビュー] Using Deep Learning to Bootstrap Abstractions for Hierarchical Robot Planning

Naman Shah, Siddharth Srivastava|arXiv (Cornell University)|Feb 2, 2022

AI-based Problem Solving and Planning被引用数 5

ひとこと要約

この論文では、環境内の重要な領域を特定することで、階層的ロボット運動計画における状態および行動の抽象化を自動的に学習する深層学習ベースの手法を提案する。独自のロボット特化アーキテクチャを備えたニューラルネットワークを用い、抽象状態と抽象行動を生成することで、新しいマルチソース・バイディレクショナル計画法を実現し、訓練時に見未曾る環境においても、最先端のベースラインと比較して最大10倍速い計画を達成するとともに、妥当性と確率的完全性を保証する。

ABSTRACT

This paper addresses the problem of learning abstractions that boost robot planning performance while providing strong guarantees of reliability. Although state-of-the-art hierarchical robot planning algorithms allow robots to efficiently compute long-horizon motion plans for achieving user desired tasks, these methods typically rely upon environment-dependent state and action abstractions that need to be hand-designed by experts. We present a new approach for bootstrapping the entire hierarchical planning process. This allows us to compute abstract states and actions for new environments automatically using the critical regions predicted by a deep neural network with an auto-generated robot-specific architecture. We show that the learned abstractions can be used with a novel multi-source bi-directional hierarchical robot planning algorithm that is sound and probabilistically complete. An extensive empirical evaluation on twenty different settings using holonomic and non-holonomic robots shows that (a) our learned abstractions provide the information necessary for efficient multi-source hierarchical planning; and that (b) this approach of learning, abstractions, and planning outperforms state-of-the-art baselines by nearly a factor of ten in terms of planning time on test environments not seen during training.

研究の動機と目的

• 階層的ロボット計画における手作業による抽象化の制限を解決すること。これはスケーラビリティとドメイン移行性を制限する要因である。
• 深層学習を用いて環境の重要領域を自動的に学習し、高レベル計画の抽象化を初期化すること。
• 学習された抽象化を活用するマルチソース・バイディレクショナルな階層的計画法を設計し、効率的で信頼性の高い運動計画を実現すること。
• 計画プロセスにおける形式的保証（妥当性と確率的完全性）を確保すること。

提案手法

• ロボット特化アーキテクチャを備えた深層ニューラルネットワークを訓練し、環境内の重要な領域を予測する。これらの領域は抽象化のランドマークとして機能する。
• 予測された重要な領域からの距離に基づいて構成空間を分割することで、抽象状態を形成する。これにより、高レベルの状態抽象化が可能になる。
• 抽象行動は、抽象状態間の遷移として定義され、『通路を通過する』や『部屋に入る』といった高レベルの移動を表す。
• マルチソース・バイディレクショナルな階層的計画法は、これらの学習済み抽象化を活用し、開始点とゴール点から同時に経路を探索することで、探索効率を向上させる。
• 低レベルの運動計画からのフィードバックに基づいて、抽象行動コストを動的に更新するヒューリスティック関数を維持することで、収束性を向上させる。
• 低レベルの運動計画は、高レベルの抽象計画を実行可能な軌道に精錬し、ゴール到達を保証するとともに、運動制約と障害物制約を尊重する。

実験結果

リサーチクエスチョン

• RQ1 未訓練の環境において、深層学習を用いて効果的な階層的計画の抽象化に役立つ重要な領域を自動的に発見できるか？
• RQ2 学習された抽象化をどのように階層的計画フレームワークに効果的に統合できるか？ これにより計画の効率性と信頼性が向上するか？
• RQ3 深層学習で得た抽象化を用いた場合、マルチソース・バイディレクショナル計画戦略は単一ソースアプローチを上回る性能を示すか？
• RQ4 提案手法は、複雑な環境や高自由度のロボットに対しても、妥当性と確率的完全性を満たしながらスケーラブルに動作するか？

主な発見

• 訓練時に未見のテスト環境において、提案手法は最先端の採番ベースのプランナーよりも計画時間をほぼ10倍短縮した。
• 離散的変種の環境において、平均で631 ± 278および496 ± 175のノードを生成したが、TogglePRMはそれぞれ4,234 ± 532および19,234 ± 4,345のノードを生成した。
• 動的に更新されるヒューリスティック関数の使用により、計画時間が顕著に短縮された。初期イテレーション以降、時間の急激な低下が観察された。
• 学習済み抽象化を活用するマルチソース・バイディレクショナルプランナは、単一ソース手法と比較して、より速い収束性と優れたスケーラビリティを示した。
• 20の異なる設定（大規模で複雑な環境におけるホロノミックおよび非ホロノミックロボットを含む）において、フレームワークは頑健性とスケーラビリティを示した。
• 本手法は確率的完全性を達成し、下位への細分化性（downward refinement property）を満たしており、階層的抽象化プロセスの正しさを保証した。