[論文レビュー] Graph Policy Gradients for Large Scale Robot Control

Arbaaz Khan, Ekaterina Tolstaya+2 more|arXiv (Cornell University)|Jul 8, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 21

ひとこと要約

本稿では、大規模なマルチロボットシステム向けにスケーラブルで対称的なポリシーを学習するため、グラフ畳み込みネットワーク（GCNs）を用いた強化学習手法であるグラフポリシー勾配（GPG）を提案する。ロボット間の局所的グラフ構造を活用することで、3台のロボットで訓練されたポリシーを100台以上にゼロショットで転送可能となり、形成飛行タスクにおいて完全結合ベースラインを著しく上回る性能を発揮する。

ABSTRACT

In this paper, we consider the problem of learning policies to control a large number of homogeneous robots. To this end, we propose a new algorithm we call Graph Policy Gradients (GPG) that exploits the underlying graph symmetry among the robots. The curse of dimensionality one encounters when working with a large number of robots is mitigated by employing a graph convolutional neural (GCN) network to parametrize policies for the robots. The GCN reduces the dimensionality of the problem by learning filters that aggregate information among robots locally, similar to how a convolutional neural network is able to learn local features in an image. Through experiments on formation flying, we show that our proposed method is able to scale better than existing reinforcement methods that employ fully connected networks. More importantly, we show that by using our locally learned filters we are able to zero-shot transfer policies trained on just three robots to over hundred robots.

研究の動機と目的

• 大規模な同種ロボット群の制御ポリシーを訓練する際のスケーラビリティの課題に対処すること。
• ロボット間の潜在的なグラフ対称性を活用することで、マルチロボット強化学習における次元の呪いを軽減すること。
• 局所的に学習されたグラフフィルタを用いて、小規模なロボット群から大規模なロボットスワームへのゼロショットポリシー転送を可能にすること。
• シミュレートされた空中形成飛行のような複雑で高次元の制御環境におけるサンプル効率の向上を図ること。
• グラフ構造に基づくポリシーパrametrizationが、完全結合ネットワークと比較して収束速度の向上とより優れた一般化性能を実現することを示すこと。

提案手法

• 本手法は、動的に定義されたロボット相互作用グラフ上の局所的近隣情報を利用することで、個々のロボットのポリシーをグラフ畳み込みネットワーク（GCNs）でパラメータ化する。
• 各ロボットのポリシーは、学習可能なグラフフィルタを介して集約されたKホップ近隣特徴に条件付けられ、次元削減と置換同値性の強制がなされる。
• 中央集権的トレーニングと分散実行を組み合わせたオンポリシーのポリシー勾配強化学習を用い、共有の報酬信号を用いてポリシーを訓練する。
• グラフ構造は空間的近接性（例：距離 < ε）に基づいて定義され、全ロボットにわたる状態信号ベクトルのサポートとして機能する。
• グラフ畳み込みの置換同値性により、ロボットの順序変更に対してロバストとなり、大規模なロボット数での訓練を安定化させる。
• 本手法は、シミュレーション上でのポイントマスおよびシングルインテグレータ動力学の両方へ適用可能であり、リアルな空中動力学を再現するAirSimを含む。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造に基づくポリシーパラメータ化は、マルチロボット強化学習におけるサンプル複雑性の低減とスケーラビリティの向上に寄与するか？
• RQ2 ロボット数が少ない状況で訓練されたポリシーが、グラフベースの関数近似を用いて、はるかに大きなスワームへ成功裏に転送可能か？
• RQ3 局所的グラフフィルタの使用は、完全結合ネットワークと比較して、形成制御タスクにおける収束速度と性能でどのように差をつけるか？
• RQ4 GPGは、有限質量および速度状態を含む複雑で現実的な動力学、例えばリアルタイムシミュレータにおいて一般化可能か？
• RQ5 GCNの置換同値性は、動的グラフトポロジを有する大規模マルチロボットシステムにおける訓練の安定化に寄与するか？

主な発見

• GPGは、3台のロボットで訓練されたポリシーを、形成飛行タスクにおいて100台以上のロボットへゼロショットで転送でき、再トレーニングなしに安定的かつ協調的な動作を達成した。
• 本手法は、ロボット数が増加するにつれて、完全結合ベースラインネットワークと比較してより速く収束し、一般化性能も優れている。
• リアルなシングルインテグレータ動力学とノイズの多い観測を含むAirSimシミュレーションでは、50,000エピソード以内に合理的な行動を学習できないベースラインと比較して、GPGが優れた性能を発揮した。
• グラフ畳み込みの使用により、有効次元の低いポリシー入力空間への特徴抽出が効果的に行えるようになった。
• GCNの置換同値性により、探索中にロボットの順序やグラフトポロジが変化しても、訓練が安定して進行した。
• GPGは、高次元で連続的な制御設定においてもサンプル効率の高い学習を可能にし、大規模マルチロボットポリシー学習の実現を可能にした。