[論文レビュー] Graph Policy Gradients for Large Scale Unlabeled Motion Planning with Constraints

Arbaaz Khan, Vijay Kumar+1 more|arXiv (Cornell University)|Sep 24, 2019

Multimodal Machine Learning Applications参考文献 15被引用数 4

ひとこと要約

本稿では、制約付きの大規模なラベルなし運動計画のためのスケーラブルな強化学習フレームワーク「グラフ方策勾配（GPG）」を提案する。グラフ畳み込みネットワーク（GCNs）を用いて分散型方策をパrameter化することで、GPGは小規模なロボットスワームから大規模なロボットスワームへのゼロショット転送を可能にし、スワームサイズやゴール設定が変化しても、中央集権的オラクル解法の約12–15秒以内のほぼ最適性能を達成する。

ABSTRACT

In this paper, we present a learning method to solve the unlabelled motion problem with motion constraints and space constraints in 2D space for a large number of robots. To solve the problem of arbitrary dynamics and constraints we propose formulating the problem as a multi-agent problem. In contrast to previous works that propose using learning solutions for unlabelled motion planning with constraints, we are able to demonstrate the scalability of our methods for a large number of robots. The curse of dimensionality one encounters when working with a large number of robots is mitigated by employing a graph convolutional neural (GCN) network to parametrize policies for the robots. The GCN reduces the dimensionality of the problem by learning filters that aggregate information among robots locally, similar to how a convolutional neural network is able to learn local features in an image. Additionally, by employing a GCN we are also able to overcome the computational overhead of training policies for a large number of robots by first training graph filters for a small number of robots followed by zero-shot policy transfer to a larger number of robots. We demonstrate the effectiveness of our framework through various simulations.

研究の動機と目的

• 動的制約および空間的制約を伴うラベルなしマルチロボット運動計画におけるスケーラビリティの課題に対処する。
• 多数のロボットに対する方策学習における次元の呪いと計算オーバーヘッドを克服する。
• グラフ構造の情報集約を用いて、ロボット間の分散型・局所的連携を実現する。
• 中央集権的で正当に正しい手法にほぼ近い性能を達成しながら、スケーラビリティを維持する。
• 学習済みのグラフフィルタを用いて、小規模なスワームから大規模なスワームへのゼロショット方策転送を実現する。

提案手法

• ラベルなし運動計画問題を、グラフ構造のロボット相互作用トポロジーを持つマルチエージェント強化学習（MARL）タスクとして定式化する。
• ロボットの方策をパrameter化するためにグラフ畳み込みネットワーク（GCNs）を用い、学習可能なフィルタを介してKホップ以内の近隣からの局所的情報集約を可能にする。
• ロボット間のユークリッド距離に基づく接続性を用いてグラフを定義し、各ロボットが感覚範囲内にある最近接の近隣およびゴールを観測する。
• 小スケールのロボット構成で方策を学習し、その方策を大規模なスワームに再訓練なしでゼロショット転送する。フィルタサイズがグラフサイズに依存しないという性質を活用する。
• 学習中は中央集権的クライアントを用いて方策勾配の更新を行うが、推論は完全に分散型のままである。
• すべてのゴールがカバーされた場合にのみ報酬がゼロとなるスパース報酬関数を用い、タスクラベルなしでカバレッジを促進する。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、制約付きの大規模なラベルなし運動計画におけるスケーラブルで分散型の方策学習を可能にするか？
• RQ2 小規模なロボットスワームで学習した方策が、再訓練なしに大規模なスワームへどの程度効果的にゼロショット転送可能か？
• RQ3 GPGの分散型フレームワークの性能は、ゴール到達時間の観点から中央集権的で最適な解にどの程度近いか？
• RQ4 局所的でグラフベースの情報集約は、完全結合ネットワークに比べてスケーラビリティと連携性において優れているか？
• RQ5 スワームサイズやゴールの複雑さが増大しても、最適な中央集権的解に対する性能マージンを一貫して維持できるか？

主な発見

• GPGはほぼ最適な性能を達成し、テストされたすべてのフォーメーションにおいて、中央集権的CAPTオラクル解法の約12–15秒以内の到達時間で性能を発揮する。
• ロボット数の増加やゴール距離の延長が進んでも、GPGと中央集権的オラクル解法との性能差はほぼ一定（約12–15秒）のままである。
• 小規模なスワームから大規模なスワームへのゼロショット方策転送は効果的であり、小規模なグラフで学習した方策が再訓練なしに大規模なスワームに適用可能である。
• ロボットの局所的観測が重複しても、感覚範囲が限られている中でも、GPGはすべてのゴールをカバーするようにロボットスワームを効果的に連携できる。
• GPGは、スワームサイズに関係なく固定されたKホップ近隣の相互作用の基数（数）を維持することで、次元の呪いを緩和するという点でスケーラビリティを示している。
• GCNの使用により、ロボットグラフ上で局所的特徴学習と情報伝搬が可能となり、協調的かつ衝突のないカバレッジ行動が実現された。