[論文レビュー] Learning-based Motion Planning in Dynamic Environments Using GNNs and Temporal Encoding

Ruipeng Zhang, Chenning Yu+3 more|arXiv (Cornell University)|Oct 16, 2022

Robot Manipulation and Learning被引用数 9

ひとこと要約

本論文では、時間的符号化と模倣学習を組み合わせたGNNベースのモーションプランニングフレームワークを提案し、動的環境におけるオンラインプランニングの高速化を図る。DAggerを用いてSIPPエキスパートを用いた学習によりエッジの優先順位ポリシーを学習することで、衝突チェックを1000倍以上削減し、計画速度を最大95％向上させつつ、2-DoFから7-DoFのロボットアームにおいても高い成功確率を維持する。

ABSTRACT

Learning-based methods have shown promising performance for accelerating motion planning, but mostly in the setting of static environments. For the more challenging problem of planning in dynamic environments, such as multi-arm assembly tasks and human-robot interaction, motion planners need to consider the trajectories of the dynamic obstacles and reason about temporal-spatial interactions in very large state spaces. We propose a GNN-based approach that uses temporal encoding and imitation learning with data aggregation for learning both the embeddings and the edge prioritization policies. Experiments show that the proposed methods can significantly accelerate online planning over state-of-the-art complete dynamic planning algorithms. The learned models can often reduce costly collision checking operations by more than 1000x, and thus accelerating planning by up to 95%, while achieving high success rates on hard instances as well.

研究の動機と目的

• 移動障害物を伴う動的環境におけるオンラインモーションプランニングの高速化という課題に取り組む。
• 静的学習ベースのプランナの限界を克服し、高次元の構成空間における時間的・空間的推論を統合する。
• 時間的認識を持つグラフ構造と障害物の軌道を同時に符号化するGNNアーキテクチャを設計する。
• 複雑で困難なケースにおいても成功確率を損なわず、計画の効率性を向上させる。
• 完全アルゴリズム、ヒューリスティックベースの手法、エンドツーエンド強化学習手法と比較して優れた性能を示す。

提案手法

• 2段階のGNNアーキテクチャを採用：最初にアテンション機構を用いてグローバルなグラフ構造と障害物の軌道を符号化し、次に局所的状態と時間シフトされた障害物データで精緻化する。
• TransformerとNeRFにインspiredされた時間的符号化を導入し、障害物運動の高周波数パターンを捉える。
• DAggerを用いた模倣学習によりGNNをエンドツーエンドで訓練し、SIPPをエキスパートポリシーとして行動クラーニングと自己改善に活用する。
• オンラインロールアウトからのデータ集約により、特に困難な計画シナリオにおける一般化性能を向上させる。
• 学習された優先順位スコアに基づき、構成グラフのエッジを優先順に処理することで、高コストな衝突チェックを削減する。
• 成功ケースにおける衝突チェックを増加させないよう、オプションのバックトラッキング探索を統合する。

実験結果

リサーチクエスチョン

• RQ1 時間的符号化を備えたGNNベースのモデルは、動的モーションプランニングにおけるエッジ優先順位の学習に効果的か？
• RQ2 DAggerを用いた模倣学習は、エンドツーエンド強化学習と比較して、動的モーションプランニングの汎用的ポリシー学習に優れているか？
• RQ3 時間的および空間的符号化は、オンライン計画における衝突チェックの回数をどの程度削減できるか？
• RQ4 完全アルゴリズムが苦戦する困難なケースにおいても、提案手法は高い成功確率を維持できるか？
• RQ5 グローバル、ローカル、時間的符号化の各コンponentは、性能にそれぞれどの程度寄与しているか？

主な発見

• 提案手法は、SIPPを含む最先端の完全アルゴリズムと比較して、衝突チェックの回数を1000倍以上削減した。
• オンライン計画の計算時間は、2-DoFおよび7-DoFのKUKAアームタスクにおいて最大95％高速化され、高い成功率を維持した。
• DAggerを用いた模倣学習はエンドツーエンドRL手法を上回った：DQNは学習セットで54％の成功率、PPOはテストセットで20％の成功率にとどまった。
• アブレーションスタディにより、グローバル障害物符号化、ローカル障害物符号化、時間的符号化のすべてのコンponentが性能向上に顕著に寄与していることが確認され、特に困難なケースで顕著だった。
• オプションのバックトラッキング探索を追加することで、成功確率が向上したが、成功ケースにおける衝突チェック回数は増加しなかった。これは、効率性の向上を示している。
• 先行の学習ベース手法の動的版であるOracleNet-Dは、ランダム問題および困難な問題の両方で、すべての指標においてGNN-TEに劣った。