[論文レビュー] Learning Implicit Sampling Distributions for Motion Planning

Clark Zhang, Jinwook Huh+1 more|arXiv (Cornell University)|Jun 6, 2018

Robotic Path Planning Algorithms参考文献 16被引用数 5

ひとこと要約

本稿では、拒否採用法をマルコフ意思決定過程（MDP）として定式化することにより、サンプリングベースの運動計画法における暗黙的サンプリング分布を強化学習に基づいて学習する手法を提案する。類似環境における過去の計画経験を活用して、衝突チェック回数と木の展開ノード数を効果的に削減するポリシーを適応的に学習し、7DOFロボットアームタスクにおいて、均一サンプリングと比較して最大2.7倍の衝突チェック削減と5倍のノード数削減を達成した。

ABSTRACT

Sampling-based motion planners have experienced much success due to their ability to efficiently and evenly explore the state space. However, for many tasks, it may be more efficient to not uniformly explore the state space, especially when there is prior information about its structure. Previous methods have attempted to modify the sampling distribution using hand selected heuristics that can work well for specific environments but not universally. In this paper, a policy- search based method is presented as an adaptive way to learn implicit sampling distributions for different environments. It utilizes information from past searches in similar environments to generate better distributions in novel environments, thus reducing overall computational cost. Our method can be incor- porated with a variety of sampling-based planners to improve performance. Our approach is validated on a number of tasks, including a 7DOF robot arm, showing marked improvement in number of collision checks as well as number of nodes expanded compared with baseline methods.

研究の動機と目的

• 手動で設計されたヒューリスティクスに依存せずに、サンプリングベースの運動計画法における効果的なサンプリング分布を学習するための適応的メソッドの開発。
• 類似環境における過去の探索履歴を活用して、計画コストの指標（衝突チェック数や木のサイズなど）を最小化するための拒否採用ポリシーを学習し、計算コストの低減を実現すること。
• BiRRT、RRT、PRMなどの既存の計画法の性能向上を図るため、環境に適応したサンプリング戦略を学習すること。
• 高次元のロボット操作タスクを含む、さまざまな環境間でサンプリングポリシーの一般化を可能にすること。
• シミュレーションおよび実世界のロボットシステムにおいて本手法を検証し、計画効率の向上を一貫して示すこと。

提案手法

• 複雑なサンプリング分布を、受容／拒否意思決定をマルコフ意思決定過程（MDP）としてモデル化する拒否採用法によって暗黙的に表現する。
• 衝突チェック数や木のサイズといった計画コスト指標を最小化するように、ポリシー勾配強化学習を用いて拒否ポリシーを最適化する。
• 類似環境からの過去の計画データを用いてポリシーを学習し、再訓練なしに新規環境へ適用可能にする。
• MDPの状態表現には、障害物までの距離やゴールへの近接度といった幾何的特徴を含め、構成空間の構造を理解できるようにする。
• さまざまなサンプリングベースの計画法（例：BiRRT、RRT、PRM）と互換性があり、効率向上のための前処理ステップとして統合可能である。
• オフポリシー強化学習を用いて、ポリシーをエンドツーエンドで学習し、ゴール領域へのバイアスや障害物表面への接近といった直感的なヒューリスティクスを発見可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習された拒否ポリシーは、多様な環境において、均一サンプリングや手動設計のヒューリスティクスを上回る計画コストの低減を達成できるか？
• RQ2 類似環境における過去の計画経験を、未観測の新環境へ一般化可能なサンプリングポリシーに活用できる程度はどの程度か？
• RQ3 学習されたポリシーは、効率性と頑健性の観点から、既存のヒューリスティクスサンプリング戦略と比較してどのように差がつくか？
• RQ4 本手法は、高次元のロボット操作タスクにおいて、衝突チェック数と木の展開を効果的に削減できるか？
• RQ5 ポリシーはどの環境的特徴を優先して学習し、それらは直感的な計画ヒューリスティクスと整合しているか？

主な発見

• 7DOFロボットアームタスクにおいて、学習されたサンプリング分布は、均一サンプリングと比較して衝突チェック数を2.7倍削減し、展開ノード数を5倍以上削減した。
• 100回の実行において、パス計画の成功確率が97％に達し、同じサンプル制限下でベースラインの96％をわずかに上回った。
• ポリシーはゴール付近や障害物に近い構成を優先するよう学習しており、テーブルトップマニピュレーションにおける直感的なヒューリスティクスと整合している。
• 学習された分布を用いることで、計画性能の分散が顕著に低減され、より高い頑健性が示された。
• 訓練中に観測されていない新しいテスト環境に対しても、学習済みポリシーの一般化がうまくいった。
• 既知のヒューリスティクス戦略（例：ゴールバイアス、障害物近接）を正確に再現するとともに、新たな効果的なサンプリングパターンを発見した。